> 2024 年，文生图领域迎来 DiT 架构的全面普及。本文深入解析 Flux.1、SD3.5、PixArt 等主流模型的技术差异，并提供实用的选型建议。
---
一、引言：文生图进入 DiT 时代
2024 年 8 月，Black Forest Labs（黑森林实验室）发布了 Flux.1 系列模型。这支由原 Stable Diffusion 核心团队组成的队伍，用 12B 参数的 DiT 架构重新定义了开源文生图的天花板。
短短几个月内，Flux.1 在 Artificial Analysis 的 ELO 评分榜上超越 Midjourney V6、DALL-E 3 等商业模型，成为首个在综合质量上登顶的开源方案。
本文将从技术架构、性能对比、应用场景三个维度，带你全面了解当前开源文生图模型的格局。
---
二、核心架构演进：从 U-Net 到 DiT
2.1 三代架构简史
第一代（2022-2023）：U-Net 统治期
├── Stable Diffusion 1.5
├── Stable Diffusion XL
└── 特点：卷积 + Attention 混合，生态成熟
第二代（2024）：DiT 转型期
├── Stable Diffusion 3（MM-DiT 双流）
├── Flux.1（MM-Single-DiT 混合）
└── 特点：Transformer 全面替代 CNN
第三代（2024+）：规模化与专业化
├── AuraFlow（24B 全开源）
├── Playground v3（美学优先）
└── 特点：超大参数 + 垂直优化
2.2 为什么 DiT 能取代 U-Net？
| 维度 | U-Net | DiT |
|---|---|---|
| 长程依赖 | 感受野受限 | 全局 Attention |
| 可扩展性 | 深度受限 | 可无限堆叠 |
| 文本对齐 | 一般 | 优秀 |
| 训练稳定性 | 较好 | 需技巧（QK-Norm） |
---
三、Flux.1 深度解析
3.1 版本矩阵
| 版本 | 许可证 | 定位 | 显存需求 | 典型步数 |
|---|---|---|---|---|
| pro | 商业 API | 最高质量 | N/A | 20-50 |
| dev | 非商业开源 | 开发者首选 | 16-24GB | 20-28 |
| schnell | Apache 2.0 | 极速本地 | 8-16GB | 1-4 |
3.2 架构创新：MM-Single-DiT
Flux.1 的核心创新在于双流→单流的混合架构：
输入图像
↓ VAE 编码（16通道）
↓ Pack_Latents（2×2 → 64通道）
↓
[19 层 MM-DiT] ← 文本和图像分别处理，交叉融合
↓
[38 层 Single-DiT] ← 统一处理，加深网络
↓
VAE 解码 → 输出图像
为什么这样设计？
- 前期双流：保留模态特异性，实现高质量的文本-图像交互
- 后期单流：减少参数量，提升计算效率，同时加深网络容量
3.3 Rectified Flow：训练范式的革新
传统扩散模型（DDPM）预测噪声，而 Flux 采用 Rectified Flow 预测速度向量：
# DDPM 训练目标
loss = ||ε_θ(x_t, t) - ε||²
# Rectified Flow 训练目标
loss = ||v_θ(z_t, t) - (x_1 - x_0)||²
优势：
- 采样路径更直（从曲线变为直线）
- 训练收敛更快
- 支持更灵活的采样步数（1-50 步均可）
四、主流模型横向对比
4.1 综合性能矩阵
| 模型 | 架构 | 参数量 | GenEval | ELO | 显存需求 |
|---|---|---|---|---|---|
| Flux.1-pro | MM-Single-DiT | 12B | ~82% | 1153 | API |
| Flux.1-dev | MM-Single-DiT | 12B | ~80% | ~1100 | 16-24GB |
| SD3.5-Large | MM-DiT | 8B | ~74% | ~1080 | 16-24GB |
| AuraFlow | DiT | 24B | ~75% | ~1050 | 24GB+ |
| SDXL | U-Net | 3.5B | ~55% | ~1000 | 8-12GB |
| PixArt-Σ | DiT | 0.6B | ~60% | ~980 | 4-8GB |
4.2 专项能力对比
文本渲染能力（在图中生成可读文字）：
Flux.1 ≈ DALL-E 3 > SD3.5 > AuraFlow > SDXL ≈ PixArt
人体解剖准确性（手部、面部）：
Flux.1 > SD3.5 > AuraFlow > SDXL
提示词遵循度（复杂多对象场景）：
Flux.1 ≈ SD3.5 > Playground v3 > AuraFlow > PixArt > SDXL
生成速度（1024×1024，RTX 4090）：
Flux.1-schnell (4步, ~8s) > SDXL (20步, ~13s) > Flux.1-dev (20步, ~57s)
4.3 开源协议对比
| 模型 | 协议 | 商业使用 | 自托管 |
|---|---|---|---|
| Flux.1-schnell | Apache 2.0 | ✅ | ✅ |
| Flux.1-dev | 非商业 | ❌ | ✅ |
| SD3.5 | 社区许可 | 限制条件 | ✅ |
| AuraFlow | 完全开源 | ✅ | ✅ |
| PixArt | Apache 2.0 | ✅ | ✅ |
五、应用场景与选型建议
5.1 个人创作者
| 场景 | 推荐 | 理由 |
|---|---|---|
| 日常创作/快速迭代 | Flux.1-schnell | 免费商用，1-4 步出图 |
| 追求极致质量 | Flux.1-dev | 开源最强 |
| 低配置设备 | PixArt-Σ | 4GB 显存可跑 |
| 特定风格 | SDXL + LoRA | 生态最丰富 |
5.2 商业应用
| 场景 | 方案 | 成本参考 |
|---|---|---|
| SaaS 产品 | Flux.1-pro API | ~$0.04/张 |
| 广告营销 | API 或自托管 SD3.5 | 按需 |
| 游戏美术 | Flux.1-dev + 自训练 LoRA | 一次性投入 |
| 电商产品图 | Flux.1-pro / SD3.5-Turbo | 按量 |
5.3 硬件选型
8GB 显存 → Flux-schnell (NF4) / SDXL / PixArt
16GB 显存 → Flux-dev (FP8) / SD3.5-Medium
24GB+ → Flux-dev (FP16) / AuraFlow / SD3.5-Large
---
六、部署实践：Flux.1 本地运行
6.1 快速开始
from diffusers import FluxPipeline
import torch
# 加载模型（以 schnell 为例）
pipe = FluxPipeline.from_pretrained(
"black-forest-labs/FLUX.1-schnell",
torch_dtype=torch.bfloat16
)
# 启用显存优化
pipe.enable_model_cpu_offload()
# 生成图像
image = pipe(
"A futuristic cityscape with flying cars at sunset",
num_inference_steps=4,
guidance_scale=0.0 # schnell 不需要 CFG
).images[0]
image.save("output.png")
6.2 显存优化技巧
| 技术 | 显存节省 | 质量影响 |
|---|---|---|
| FP8 量化 | ~40% | 极小 |
| NF4 (bitsandbytes) | ~60% | 小 |
| CPU Offloading | ~50% | 速度降低 |
| VAE Tiling | 避免 OOM | 无 |
七、未来展望
1. 更大规模：24B+ 参数将成为常态，AuraFlow 已验证可行性 2. 实时生成：1-2 步高质量生成将成为标准 3. 多模态统一：文生图、图生视频、3D 生成共享同一架构 4. 端侧部署：手机、边缘设备上的高效推理
---
八、结语
2024 年是开源文生图的里程碑之年。Flux.1 的出现证明，开源社区不仅能追赶商业模型，更能引领技术方向。
对于开发者而言，现在是一个绝佳的入场时机：
- 想快速体验？用 Flux.1-schnell，4 步出图，免费商用
- 要最高质量？用 Flux.1-dev，开源最强
- 有低显存？用 PixArt-Σ，0.6B 参数也能出好图
---
参考资源
- Flux 官方：https://blackforestlabs.ai/
- Hugging Face 模型页：https://huggingface.co/black-forest-labs
- 技术报告："Scaling Rectified Flow Transformers" (SD3)
*本文基于公开技术资料整理，如有疏漏欢迎指正。*