ELF: Embedded Language Flows 深度拆解——何恺明团队的连续扩散语言模型

来源：arXiv:2605.10938、何恺明团队 MIT 论文、社区技术评测 作者：小凯 日期：2026-05-14 论文地址：https://arxiv.org/abs/2605.10938 代码仓库：https://github.com/lillian039/ELF

一句话总结

何恺明团队提出的 ELF（Embedded Language Flows）证明了：连续扩散语言模型不是不能打，只是以前没把"连续"这件事做到底。 ELF 将去噪过程全程留在连续 embedding 空间，只在最后一步 (t=1) 通过共享权重网络离散化为 token。仅用 105M 参数、45B 训练 token、32 步采样，在 OpenWebText 上把生成困惑度压到 24，超越所有离散 DLM 和连续 DLM 基线——包括训练 token 多 10 倍以上的对手。

一、背景：扩散语言模型的两条路线

1.1 离散派 vs 连续派

扩散语言模型（Diffusion Language Model, DLM）近年成为自回归之外的重要文本生成路线。它天然支持并行解码，理论上比逐字输出的自回归模型快得多，也更容易实现"填空"、"双向修改"等任务。

研究走出两条路：

离散派领先的原因似乎很简单：语言本身就是离散的。

何恺明团队的判断恰恰相反：问题可能不是"语言必须离散"，问题可能是前人根本没有让连续路线，连续到底。

1.2 前人为什么"不够连续"

ELF 的洞察：所有这些方法都在"连续表示"和"离散输出"之间反复横跳，没有真正做到"连续就是连续，离散就是离散"。

二、ELF 核心架构：把"连续"做到底

2.1 三句话概括

1. 训练时：离散 token → T5 编码器 → 连续 embedding → 加噪 → 模型去噪（MSE）或预测 token（CE）
2. 推理时：高斯噪声 → 连续空间一路去噪 → 最后一步 (t=1) 切换到 decode 模式 → argmax 输出 token
3. 关键创新：去噪网络和解码网络是同一个网络，通过 mode token 切换

2.2 模型规格

编码器：预训练 T5-small encoder (35M 参数, 512 维)，仅训练时使用，推理时不增加额外模块 瓶颈设计：线性投影将嵌入降至 128 维，再投影回模型隐藏维度 架构细节：RoPE 位置编码、RMSNorm、SwiGLU 激活、QK-Norm、in-context conditioning（非 adaLN-Zero）

2.3 Flow Matching 在连续 Embedding 空间的实现

线性插值（Rectified Flow）：

z_t = t · x + (1-t) · ε,  t ∈ [0,1]

• x ~ p_data(x)：干净嵌入（编码器输出）
• ε ~ N(0,I)：高斯噪声
• z_0 ~ p_noise, z_1 ~ p_data

x-预测参数化（关键设计）：

ELF 采用 x-prediction 而非标准 v-prediction：

x̂_θ = net_θ(z_t, t, mode)

损失函数转换：

L_MSE = E_{t,x,ε} [1/(1-t)²] · ||x̂_θ(z_t, t) - x||²

等价于速度预测：v_θ = (x̂_θ - z_t) / (1-t)

时间采样分布：

• 训练时：logit-normal(P_mean=-1.5, P_std=0.8)，噪声缩放因子 2
• 推理时：相同 logit-normal 时间调度，t≈0 噪声区更密集

2.4 共享权重网络：一个网络，两种模式

这是 ELF 最精巧的设计。传统 latent diffusion 需要单独训 decoder，ELF 不需要。

训练流程（双分支，8:2 比例）：

关键细节：

• mode token：二进制 "denoise" 或 "decode"，作为网络输入条件
• 自条件（self-conditioning）：去噪分支 50% 概率使用；解码分支始终用零
• unembedding 矩阵 W：可学习，将预测嵌入投影到词汇表 logits
• 噪声尺度：OWT 数据集 5，条件生成（WMT/XSum）1

推理流程：

# 阶段1：连续空间去噪（t=0→~1）
z = randn(shape)
for i in range(len(ts)-1):
    t, dt = ts[i], ts[i+1]-ts[i]
    x_pred = net(z, t, mode="denoise")
    v = (x_pred - z) / (1-t)
    z = z + dt * v

# 阶段2：最终步离散化（t=1）
h = net(z, t=1, mode="decode")
token_logits = unembed(h)
tokens = argmax(token_logits)

核心优势：没有每一步都往词表上硬对齐，也不需要额外 decoder，整个生成流程第一次真正做到了"连续就是连续，离散就是离散"。

三、从图像扩散迁移：Classifier-Free Guidance

3.1 自条件作为 CFG 条件

ELF 将图像扩散中最常用的 Classifier-Free Guidance (CFG) 直接搬了过来。

核心洞察：自条件预测 x̂' 充当 CFG 中的条件信号 c

标准 CFG 公式：

v_cfg(z_t|c) = ω · v(z_t|c) + (1-ω) · v(z_t|∅)

3.2 训练时 CFG（避免推理开销）

采用 training-time CFG，单次前向传播建模组合后的量：

# 无条件
z_no_sc = self_cond_proj(concat([z, zeros_like(z)], dim=-1))
x_no_sc = net(z_no_sc, t, c, w, mode="denoise")

# 有条件（使用 stopgrad 的无条件预测作为自条件）
z_sc = self_cond_proj(concat([z, stopgrad(x_no_sc)], dim=-1))
x_sc = net(z_sc, t, c, w, mode="denoise")

# CFG 目标
v_target = v + (1 - 1/w) * (v_sc - v_no_sc)

条件控制 token：

3.3 条件生成扩展

• 输入条件：将条件序列的干净嵌入前置到目标序列
• 条件 dropout：10% 概率置零条件嵌入
• 双重 CFG：自条件 CFG 尺度 + 输入条件 CFG 尺度

四、实验结果：连续派第一次全面赢

4.1 无条件生成：OpenWebText

核心指标：Generative Perplexity（生成困惑度）

困惑度本质是"让一个强大的语言模型给生成结果检查作业"——值越低，生成质量越高、越像真实人类文本。

关键结论：

• ELF 32 步 Gen. PPL = 24，超越所有基线 1024 步的性能
• ELF 32 步 优于所有蒸馏模型（MDLM+SDTT, Duo+DCD, FMLM）
• ELF 无需任何蒸馏
• ELF 训练 token 45B，对手普遍 500B+，少近 10 倍

4.2 模型扩展规律

扩展规律：模型规模增大一致改善 PPL-熵前沿。ELF-L SDE 达到 ~15，接近自回归基线水平。

4.3 条件生成

机器翻译 WMT14 De-En（BLEU ↑）

ELF 超越自回归基线（25.2 → 26.4），这在扩散模型中极为罕见。

摘要 XSum（ROUGE ↑）

4.4 消融实验

CFG 尺度效应：

嵌入选择（图 5a）：

结论：双向 contextual embedding（T5 编码器）是关键，不是随便一个 embedding 都能 work。

采样器对比（图 5c）：

低步数时 SDE 显著优于 ODE，高步数时趋同。SDE 噪声重注入参数 γ = 1。

五、训练超参数

数据集：

六、连续 DLM 全景对比：ELF 的独特定位

ELF 是唯一同时满足三者的方法：

1. ✅ 使用固定编码器（预训练 T5，非学习嵌入）
2. ✅ 无逐步离散化（训练/推理全程连续，仅在最后一步离散）
3. ✅ 无单独解码器（共享权重网络）

七、作者与团队

• 共同第一作者：胡珂雅 (Keya Hu)、Linlu Qiu（排名由抛硬币决定）
• 通讯作者：何恺明 (Kaiming He, MIT)
• 团队规模：8 人（MIT）

胡珂雅：MIT EECS 一年级博士生，何恺明在 MIT 带的第一批博士生之一，由何恺明和 Jacob Andreas 联合指导。本科毕业于上海交大 ACM 班，研究兴趣为语言和视觉的交叉领域。

何恺明背景：

• 2015 年 ResNet（残差网络），AI 领域被引用次数最多的论文之一
• 残差连接结构已渗透进 Transformer、AlphaGo Zero、AlphaFold 等几乎所有现代 AI 系统
• 2024 年从 Meta AI 加盟 MIT，开始系统研究生成模型

八、核心启示

8.1 "连续到底"为什么 work？

扩散模型在图像领域的成功，很大程度上来自其在连续空间中的"动力学自由度"——噪声可以平滑地流动到数据分布。ELF 把这套自由度完整地带到了语言领域：

1. 不打断连续性：不在中间步骤强制对齐词表，让扩散动力学有最大自由度
2. 图像技术直接迁移：CFG、Flow Matching、SDE/ODE 采样器，几乎原封不动搬过来
3. 共享权重简化架构：一个网络做两件事，减少模块间对齐损失

8.2 对 AI 生成范式的意义

ELF 的结果暗示了一个更广泛的结论："离散"和"连续"不是对立的选择，而是可以分层处理的——中间计算在连续空间，最终输出在离散空间。

这和人类语言处理的直觉一致：

• 我们思考时用的是"概念"（连续、模糊、多维）
• 我们表达时用的是"词语"（离散、精确、一维）
• 概念到词语的"编码"只在最后一步发生

ELF 的架构设计恰好映射了这个直觉。

8.3 局限与未来方向

当前局限：

1. 规模限制：最大 ELF-L 652M，尚未测试到 7B+ 规模
2. 长文本生成：仅测试到 1024 token，更长序列的扩展性待验证
3. 与自回归的全面对比：在更大模型规模上是否仍能超越自回归，尚属开放问题
4. 推理效率：虽然采样步数少（32 步），但每次前向的计算量是否比自回归大，需要更细致的 wall-clock 对比

未来方向：

1. 扩展到 7B+ 规模，与 LLaDA、Dream 7B 等大模型直接对比
2. 探索与自回归的混合架构（部分 token 自回归，部分 token 扩散）
3. 应用到代码生成、数学推理等需要精确性的任务
4. 研究连续 embedding 空间的可解释性（what do the dimensions represent?）

九、为什么这很重要

ELF 回答了扩散语言模型领域悬了两年的核心问题：连续 DLM 到底能不能打？

答案是：不但能打，而且第一次在质量、速度、训练成本三个维度同时赢。

这意味著：

1. 扩散模型不是图像专属技术，它可以真正适应语言的"离散本质"——但不是通过妥协连续性，而是通过分层处理
2. "少即是多"：ELF 用更少的参数、更少的训练数据、更少的采样步数，超越了对手——这是架构创新带来的效率红利
3. 何恺明的研究转向：从 CV 到生成模型，再到语言模型，ResNet 之父的每一步都值得密切关注

参考来源

1. ELF 论文：arXiv:2605.10938 — https://arxiv.org/abs/2605.10938
2. ELF 代码仓库：https://github.com/lillian039/ELF
3. 何恺明团队 MIT 主页
4. 量子位报道：https://www.qbitai.com/2026/05/416628.html
5. 36氪报道：https://www.36kr.com/p/3807012110441987
6. TheMoonlight 论文评述：https://www.themoonlight.io/zh/review/elf-embedded-language-flows
7. AtomGit 开源社区论文速览：https://gitcode.csdn.net/6a02c34f0a2f6a37c5a97559.html
8. 新浪财经报道：https://finance.sina.com.cn/tech/roll/2026-05-13/doc-inhxteis9478692.shtml

#扩散模型 #语言模型 #何恺明 #FlowMatching #ELF #连续扩散 #AI生成 #小凯