Loading...
正在加载...
请稍候

40%的步骤只产出17%的token:扩散语言模型的边界瓶颈与B3解法

✨步子哥 (steper) • 2026年11月11日 16:59

一个被忽视的低效区

如果你用过扩散语言模型(Diffusion Language Model, DLM),你可能注意过一个奇怪的现象:模型在生成一个 block(块)的 token 时,大部分时间花在了"最后几个 token"上。

不是慢一点点。是40% 的去噪步骤,只产出了 17% 的 token。

这个数字来自一篇刚发布的论文《Blurring the Block Boundaries: Overlapping Block Denoising for Efficient Diffusion Language Models》(arXiv: 2611.14387,Technion + Amazon,2026 年 11 月 10 日)。作者把这个现象叫做"block boundary inefficiency"——块边界低效。

更关键的是,他们提出了一个叫 B3 的方法,不需要重新训练,不需要调超参数,直接在现有扩散语言模型上获得 11.5-14.5% 的加速,质量几乎不掉。

先理解:扩散语言模型是怎么工作的

如果你熟悉图像扩散模型(Stable Diffusion 等),扩散语言模型的逻辑类似,只是把"像素"换成了"token"。

  1. 初始化:把一整段文本的 token 替换成噪声(mask)。
  2. 去噪:模型一步步地把噪声变成真实 token,每次去掉一点。
  3. block diffusion:为了效率,不是一次性去噪整段文本,而是分成一个个 block(比如 256 个 token 一块),逐块去噪。

最近的一个改进叫 self-editing(自编辑):在一个 block 去噪完成后,模型会回头检查一遍,把不太好的 token 重新替换掉。这让质量更高,但也让每个 block 的处理时间更不可控。

问题就出在这里。

瓶颈在哪:木桶效应

一个 block 有 256 个 token。去噪过程是逐步的——每一步,模型决定接受一些 token,拒绝一些。

理想情况下,token 是均匀被接受的:每一步接受差不多数量的 token,256 步完成 256 个 token。

现实完全不是这样。

论文的 Figure 1 展示了 DiffusionGemma 26B 在 HumanEval+ 上的数据:

  • block 开头:token 接受率高,模型很自信,几步就搞定。
  • block 中间:接受率稳定。
  • block 末尾(最后 ~20% 的位置):接受率断崖式下降。模型开始犹豫,反复修改,大量步骤只产出少量 token。

这就是那个 40% / 17% 的数字:block 最后 40% 的区域,消耗了 40% 的去噪步骤,但只产出了 17% 的 token。

而且更糟的是:下一个 block 不能开始,直到当前 block 完全结束。 所以这个"尾巴"不仅浪费了当前 block 的时间,还阻塞了后续所有 block。

这就像一条流水线上,每个工位最后 20% 的工作要花 40% 的时间,而下一个工位只能干等。

B3 的思路:让两个 block 重叠

B3 的全称是 Blurring the Block Boundaries——模糊块边界。

核心思路一句话就能说清:当当前 block 进入低效的"尾巴"区域时,提前启动下一个 block,让两个 block 共享同一次前向传播。

具体来说:

  1. 模型在去噪当前 block 时,同时关注"当前 block 还剩多少 token 没确定"。
  2. 当剩余 token 比例低于某个阈值时,模型在同一次前向传播中,既继续去噪当前 block 的尾巴,又开始下一个 block 的初始去噪。
  3. 这个阈值不是手动调的——B3 会自我校准,根据模型的状态自动决定什么时候开始下一个 block。

结果:当前 block 的"尾巴"和下一个 block 的"开头"被重叠处理了。那条被浪费的 40% 时间,被用来做了有用的事。

一个更精确的类比

想象你在写一篇论文,分章节写。

普通方式:写完第一章(包括最后那段难写的结论),才开始写第二章。第一章的结论你卡了三天,这三天第二章一个字没动。

B3 方式:当你写到第一章的结论部分(你知道这部分慢),你同时开始写第二章的开头(你知道这部分快)。你在同一个"工作时段"里,既在磨第一章的结论,又在起草第二章的引言。

关键在于:这不是你刻意安排的——你有一个"自动感知器",发现第一章进入难写的区域了,就自动把第二章的开头拉进来。什么时候拉、拉多少,都是自适应的。

这就是 B3 "training-free, hyperparameter-free" 的含义:不需要重新训练模型,不需要人工调参,即插即用。

实验结果

作者在两个 SOTA 扩散语言模型上测试了 B3:

  • LLaDA 2.1(mini 16B 和 large 64B)
  • DiffusionGemma(26B)

覆盖 10 个不同的数据集,包括 HumanEval+(代码生成)、GSM8K(数学推理)、MT-Bench(多轮对话)等。

结果:

指标 改善
加速 11.5 - 14.5%
生成质量 与基线持平(部分指标略升略降,统计上不显著)
额外训练 不需要
超参数 不需要调

11-14% 的加速在推理优化领域算什么水平?作为参考,FlashAttention 当初带来的加速大约是 2-4 倍(但那是 attention 层面的根本性优化)。B3 是在解码策略层面的优化,不改模型结构,不改训练流程,11-14% 是一个相当扎实的数字。

更重要的是,B3 推进了 Pareto 前沿——也就是说,在"延迟-质量"的权衡曲线上,B3 的点严格优于基线。不是"快了但质量差了",而是"快了且质量不变"。

和其他方法比

论文还对比了两个并发的多 block 方法:

  • FlowBlock:一种基于流匹配的多 block 方法。
  • MBD-LMs(Multi-Block Decoding Language Models):另一种并行解码方法。

B3 在 LLaDA 2.1 mini 16B 上的表现:

  • 吞吐量提升 20%(Base 127 → B3 133 tokens/s)
  • 相比 FlowBlock(+4%)和 MBD-LMs(+12%),B3 的 +15% 是最高的。
  • 质量保持:B3 的 MT-Bench 分数 68.4,Base 是 68.6,几乎无差异。

为什么这件事重要

扩散语言模型正在成为自回归模型(AR)的替代方案。它们的核心优势是延迟可控——可以并行生成多个 token,不像 AR 模型必须一个一个来。

但 DLM 有自己的瓶颈:block 边界低效。这个瓶颈不是模型能力的问题,而是解码策略的结构性问题。B3 的贡献在于:它没有试图让模型变强,而是让解码流程更聪明。

这和计算机体系结构里的很多优化思路一脉相承:

  • CPU 流水线:不是让每个指令更快,而是让不同指令的阶段重叠。
  • GPU 并行:不是让一个线程更快,而是让成千上万个线程同时跑。
  • B3:不是让一个 block 更快,而是让两个 block 的阶段重叠。

本质上都是同一件事:找到流水线里的"气泡"(bubble),然后填上它。

限制与展望

B3 不是万能的。它只适用于自编辑的 block diffusion 模型——也就是说,模型本身需要有"回头检查 token"的能力。对于没有 self-editing 的纯 block diffusion 模型,B3 不适用。

另外,11-14% 的加速上限受限于"尾巴"的长度。如果未来模型的 block 边界低效问题被从架构层面解决(比如设计一种没有"尾巴"的解码方式),B3 的价值就会下降。但在当前阶段,B3 是一个零成本即插即用的优化——不改模型、不改训练、不改超参,直接加速 11-14%。

这种"免费午餐"在 2026 年的 LLM 推理优化领域,已经不多见了。


论文链接: https://arxiv.org/abs/2611.14387

作者: Amir Mann, Jonathan Fhima, Shaked Brody, Or Avitan, Asif Zamir, Shahar Tsiper, Niv Nayman (Technion / Amazon Web Services)

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录