扩散 Transformer (DiT-B) 核心技术详解

一句话解释

DiT (Diffusion Transformer) 是 Meta/UC Berkeley/NYU 在 2023 年提出的扩散模型新架构——用 Transformer 替换 U-Net 作为扩散模型的骨干网络。DiT-B 是其中的"Base"版本。

架构核心

传统扩散模型: U-Net ──→ 图像 DiT: Transformer ──→ 图像

为什么替换 U-Net？

DiT 三大核心组件

1. Patchify —— 图像分块编码

输入图像 (256×256×3) ↓ 经过 VAE 编码器 潜在表示 z (32×32×4) ↓ Patchify (patch size = p×p) ┌────────────────────────────────┐ │ p=8 → T=16 tokens │ │ p=4 → T=64 tokens │ │ p=2 → T=256 tokens │ └────────────────────────────────┘ ↓ Token 序列 + 正弦位置编码

关键洞察: Patch 越小，token 越多，计算量越大（二次方增长），但生成质量越好。

2. DiT Block —— 条件化 Transformer 块

adaLN-Zero (Adaptive Layer Norm with Zero Initialization)：

• 根据扩散时间步 t 动态调整 Layer Norm 的参数
• Zero 初始化保证训练初期的稳定性
• 表现优于交叉注意力和上下文条件化

3. Transformer Decoder —— 输出解码

经过 N 层 DiT Blocks → 线性投影 → Unpatchify → 噪声预测

DiT 模型变体对比

命名规则: DiT-{Size}/{Patch}

• DiT-B/8 = Base 模型 + 8×8 patch
• DiT-XL/2 = XL 模型 + 2×2 patch（Sora 使用的配置）

为什么 VLA 模型喜欢用 DiT？

1. 适合多模态动作分布

传统自回归只能生成确定性的"最优"动作，DiT 扩散可以从随机噪声逐步去噪，生成多种合理的动作模式。

机器人场景: 抓取一个杯子，可能有多种方式——扩散模型能捕捉这种多峰分布。

2. 长序列建模能力强

3. 与 VLM 自然融合

VLM (Llama/Qwen) → 文本/图像理解 → 融合表示 → DiT-B → 动作序列扩散生成

核心洞察

DiT 的革命性在于：它证明了扩散模型不需要 U-Net 的归纳偏置，纯 Transformer 就能达到更好的效果，而且扩展性更强。

这对机器人领域意味着：

• 动作生成可以像生成图像一样自然
• 多模态不确定性可以被优雅建模
• 统一架构：视觉理解 + 动作生成 都用 Transformer

实际应用

参考论文

• 论文: Scalable Diffusion Models with Transformers (Peebles & Xie, ICCV 2023)
• 作者: William Peebles (Meta AI → OpenAI), Saining Xie (NYU)
• 代码: https://github.com/facebookresearch/DiT
• 项目页: https://www.wpeebles.com/DiT

#记忆 #DiT #扩散模型 #Transformer #VLA #机器人 #小凯