扩散语言模型的"复读机"加速法:dLoop让模型多想几轮再开口
如果你属于"读几遍"的阵营,dLoop 这个新方法会告诉你:你的直觉是对的。而且,大语言模型也需要同样的"复读"机会——尤其是在它用的是扩散生成机制的时候。
你写文章的时候,是写完初稿就交,还是会反复读几遍再定稿?
如果你属于"读几遍"的阵营,dLoop 这个新方法会告诉你:你的直觉是对的。而且,大语言模型也需要同样的"复读"机会——尤其是在它用的是扩散生成机制的时候。
扩散语言模型的"快进"困境
先说背景。大多数语言模型(GPT 系列、Llama 等)用的是自回归生成:一个词一个词地往后写。但有一类新兴模型叫扩散语言模型(Diffusion Language Model, DLM),它的生成方式完全不同。
扩散模型的生成过程像雕塑:从一个"全是噪声"的文本块开始,逐步去噪,让真实内容从模糊中浮现。具体来说,它同时生成所有 token,但每个步骤只能"确定"一部分 token——那些置信度够高的就锁定(commit),不够的就留到下一轮继续去噪。
这种并行生成理论上比逐词生成快得多。但问题是:每个去噪步骤能确定的 token 太少了。模型需要跑很多轮,每轮都消耗计算资源。就像一个雕塑家每锤只能敲掉一小块,完成一件作品需要无数锤。
现有的加速方法主要在"什么时候确定 token"上做文章——也就是优化"置信度学习"和"承诺策略"。但这些方法有个根本局限:它们只基于单次前向传播的结果来做决定。
信息还没混匀,就要做决定
dLoop 的核心洞察是:在单次前向传播中,信息可能还没来得及充分整合。
想象一个场景:你在写一篇文章,写到一半时需要决定某个词用什么。你的大脑需要同时考虑:前面的上下文、已经写下的内容、还没写的部分的大致方向。如果你只有一次"思考机会"就做决定,可能不够——你需要多想几轮,让这些信息在你脑子里充分混合,才能做出更可靠的选择。
扩散语言模型面临同样的困境。在一次去噪前向传播中,来自 prompt、已确定 token 和未确定位置的信息可能还没充分整合。此时就做"确定/不确定"的决定,就像还没想清楚就落笔——有些 token 被错误地"确定"了,有些本可以确定的被留到下一轮,浪费了计算。
修改承诺策略(什么时候确定)无法解决这个问题——因为问题不在"决定"本身,而在"决定所依据的表示"还不够好。
Prelude-Loop-Coda:三段式架构
dLoop 的解决方案是一个优雅的架构重组:Prelude-Loop-Coda。
- Prelude(前奏):标准的去噪前向传播,和原来一样。
- Loop(循环):不推进去噪过程,而是对同一个部分掩码状态反复应用一个参数共享的中间块。每一轮 Loop 不生成新 token,而是让未确定位置之间的信息继续交互、整合。
- Coda(尾声):基于充分整合的表示,做最终的确定决定。
关键创新在于:Loop 不推进去噪。它不是在做更多的去噪步骤,而是在同一个去噪阶段内,给模型更多的"思考时间"——让信息在未确定的位置之间充分流动。
实验结果:全面领先
在四个 benchmark 上测试:
| Benchmark | dLoop 表现 |
|---|---|
| GSM8K(小学数学) | 最高或并列最高准确率 |
| MATH(竞赛数学) | 最高或并列最高准确率 |
| MBPP(编程) | 最高或并列最高准确率 |
| HumanEval(编程) | 最高或并列最高准确率 |
- vs Fast-dLLM:dLoop 在所有四个 benchmark 上准确率和 TPF(tokens per forward pass)都更高。
- vs dParallel:dLoop 在三个 benchmark 上更优。
- vs d3LLM:dLoop 在所有四个 benchmark 上准确率更高(但 d3LLM 的 TPF 更高——它更快但不太准)。
机制分析:Loop 帮了什么忙
研究者做了深入的机制分析,发现了两个有趣的现象:
1. Loop 主要帮助"慢速、不稳定"的轨迹。
不是所有 token 的生成都需要多轮 Loop。有些 token 很容易确定,一次就够了。但有些 token 的生成轨迹"慢而不稳"——置信度反复波动,难以确定。这些 token 最受益于 Loop——多轮信息整合让它们从"摇摆不定"变成"可以确定"。
2. 变化发生在未确定位置。
Loop 轮次中,更新主要发生在未确定的位置,而这些更新会驱动后续 token 决策的变化。这验证了 dLoop 的设计假设:问题确实出在未确定位置的信息整合不足。
和人类认知的呼应
dLoop 的设计有一个深层认知科学的呼应。人类在做复杂决策时,也有类似的"多轮思考"机制:
- 快速直觉:有些判断几乎是自动的,不需要深思(对应一次前向传播就能确定的 token)。
- 反复掂量:有些判断需要来回权衡,让不同信息充分整合(对应 Loop)。
- 最终决定:在充分思考后做出承诺(对应 Coda)。
对未来的启示
dLoop 提供了一条与现有加速方法正交的路径:
- 现有方法:优化"什么时候确定"(承诺策略)
- dLoop:优化"确定之前想多久"(预承诺计算)
更广泛地说,dLoop 揭示了一个可能被忽视的问题:在追求效率的过程中,我们可能过早地做出了决定。给模型更多的"思考时间"(即使是在同一个去噪阶段内),可能比强迫它更快做决定更有效。
这或许是一个对 AI 研究的隐喻:有时候,慢一点反而更快。
论文链接:https://arxiv.org/abs/2611.26275
HTML 版本:https://arxiv.org/html/2611.26275v1
开源代码:暂无(论文未提供公开代码仓库)