40%的步骤只产出17%的token:扩散语言模型的边界瓶颈与B3解法
如果你用过扩散语言模型(Diffusion Language Model, DLM),你可能注意过一个奇怪的现象:模型在生成一个 block(块)的 token 时,大部分时间花在了"最后几个 token"上。
一个被忽视的低效区
如果你用过扩散语言模型(Diffusion Language Model, DLM),你可能注意过一个奇怪的现象:模型在生成一个 block(块)的 token 时,大部分时间花在了"最后几个 token"上。
不是慢一点点。是40% 的去噪步骤,只产出了 17% 的 token。
这个数字来自一篇刚发布的论文《Blurring the Block Boundaries: Overlapping Block Denoising for Efficient Diffusion Language Models》(arXiv: 2611.14387,Technion + Amazon,2026 年 11 月 10 日)。作者把这个现象叫做"block boundary inefficiency"——块边界低效。
更关键的是,他们提出了一个叫 B3 的方法,不需要重新训练,不需要调超参数,直接在现有扩散语言模型上获得 11.5-14.5% 的加速,质量几乎不掉。
先理解:扩散语言模型是怎么工作的
如果你熟悉图像扩散模型(Stable Diffusion 等),扩散语言模型的逻辑类似,只是把"像素"换成了"token"。
1. 初始化:把一整段文本的 token 替换成噪声(mask)。 2. 去噪:模型一步步地把噪声变成真实 token,每次去掉一点。 3. block diffusion:为了效率,不是一次性去噪整段文本,而是分成一个个 block(比如 256 个 token 一块),逐块去噪。
最近的一个改进叫 self-editing(自编辑):在一个 block 去噪完成后,模型会回头检查一遍,把不太好的 token 重新替换掉。这让质量更高,但也让每个 block 的处理时间更不可控。
问题就出在这里。
瓶颈在哪:木桶效应
一个 block 有 256 个 token。去噪过程是逐步的——每一步,模型决定接受一些 token,拒绝一些。
理想情况下,token 是均匀被接受的:每一步接受差不多数量的 token,256 步完成 256 个 token。
现实完全不是这样。
论文的 Figure 1 展示了 DiffusionGemma 26B 在 HumanEval+ 上的数据:
- block 开头:token 接受率高,模型很自信,几步就搞定。
- block 中间:接受率稳定。
- block 末尾(最后 ~20% 的位置):接受率断崖式下降。模型开始犹豫,反复修改,大量步骤只产出少量 token。
而且更糟的是:下一个 block 不能开始,直到当前 block 完全结束。 所以这个"尾巴"不仅浪费了当前 block 的时间,还阻塞了后续所有 block。
这就像一条流水线上,每个工位最后 20% 的工作要花 40% 的时间,而下一个工位只能干等。
B3 的思路:让两个 block 重叠
B3 的全称是 Blurring the Block Boundaries——模糊块边界。
核心思路一句话就能说清:当当前 block 进入低效的"尾巴"区域时,提前启动下一个 block,让两个 block 共享同一次前向传播。
具体来说:
1. 模型在去噪当前 block 时,同时关注"当前 block 还剩多少 token 没确定"。 2. 当剩余 token 比例低于某个阈值时,模型在同一次前向传播中,既继续去噪当前 block 的尾巴,又开始下一个 block 的初始去噪。 3. 这个阈值不是手动调的——B3 会自我校准,根据模型的状态自动决定什么时候开始下一个 block。
结果:当前 block 的"尾巴"和下一个 block 的"开头"被重叠处理了。那条被浪费的 40% 时间,被用来做了有用的事。
一个更精确的类比
想象你在写一篇论文,分章节写。
普通方式:写完第一章(包括最后那段难写的结论),才开始写第二章。第一章的结论你卡了三天,这三天第二章一个字没动。
B3 方式:当你写到第一章的结论部分(你知道这部分慢),你同时开始写第二章的开头(你知道这部分快)。你在同一个"工作时段"里,既在磨第一章的结论,又在起草第二章的引言。
关键在于:这不是你刻意安排的——你有一个"自动感知器",发现第一章进入难写的区域了,就自动把第二章的开头拉进来。什么时候拉、拉多少,都是自适应的。
这就是 B3 "training-free, hyperparameter-free" 的含义:不需要重新训练模型,不需要人工调参,即插即用。
实验结果
作者在两个 SOTA 扩散语言模型上测试了 B3:
- LLaDA 2.1(mini 16B 和 large 64B)
- DiffusionGemma(26B)
结果:
| 指标 | 改善 |
|---|---|
| 加速 | 11.5 - 14.5% |
| 生成质量 | 与基线持平(部分指标略升略降,统计上不显著) |
| 额外训练 | 不需要 |
| 超参数 | 不需要调 |
更重要的是,B3 推进了 Pareto 前沿——也就是说,在"延迟-质量"的权衡曲线上,B3 的点严格优于基线。不是"快了但质量差了",而是"快了且质量不变"。
和其他方法比
论文还对比了两个并发的多 block 方法:
- FlowBlock:一种基于流匹配的多 block 方法。
- MBD-LMs(Multi-Block Decoding Language Models):另一种并行解码方法。
- 吞吐量提升 20%(Base 127 → B3 133 tokens/s)
- 相比 FlowBlock(+4%)和 MBD-LMs(+12%),B3 的 +15% 是最高的。
- 质量保持:B3 的 MT-Bench 分数 68.4,Base 是 68.6,几乎无差异。
为什么这件事重要
扩散语言模型正在成为自回归模型(AR)的替代方案。它们的核心优势是延迟可控——可以并行生成多个 token,不像 AR 模型必须一个一个来。
但 DLM 有自己的瓶颈:block 边界低效。这个瓶颈不是模型能力的问题,而是解码策略的结构性问题。B3 的贡献在于:它没有试图让模型变强,而是让解码流程更聪明。
这和计算机体系结构里的很多优化思路一脉相承:
- CPU 流水线:不是让每个指令更快,而是让不同指令的阶段重叠。
- GPU 并行:不是让一个线程更快,而是让成千上万个线程同时跑。
- B3:不是让一个 block 更快,而是让两个 block 的阶段重叠。
限制与展望
B3 不是万能的。它只适用于自编辑的 block diffusion 模型——也就是说,模型本身需要有"回头检查 token"的能力。对于没有 self-editing 的纯 block diffusion 模型,B3 不适用。
另外,11-14% 的加速上限受限于"尾巴"的长度。如果未来模型的 block 边界低效问题被从架构层面解决(比如设计一种没有"尾巴"的解码方式),B3 的价值就会下降。但在当前阶段,B3 是一个零成本即插即用的优化——不改模型、不改训练、不改超参,直接加速 11-14%。
这种"免费午餐"在 2026 年的 LLM 推理优化领域,已经不多见了。
论文链接: https://arxiv.org/abs/2611.14387
作者: Amir Mann, Jonathan Fhima, Shaked Brody, Or Avitan, Asif Zamir, Shahar Tsiper, Niv Nayman (Technion / Amazon Web Services)