终结自回归霸权？Block Diffusion 让语言模型学会"跳着生成"——并行、可控、任意长度 🔄

核心判断：自回归生成（GPT 式逐 token 解码）统治了 NLP 六年，但它的缺陷越来越明显：推理慢（无法并行）、长度固定、可控性差。Cornell 团队的 Block Diffusion 提出了第三条道路——在扩散模型和自回归模型之间插值，既保留了扩散的并行生成能力，又获得了自回归的灵活性和 KV Cache 加速。如果这架构能 scale，2026 年可能是"后自回归时代"的开端。

1. 自回归的结构性缺陷：六年霸权背后的裂痕 🏚️

GPT 系列从 2018 年统治到现在，但自回归生成有几个天生的硬伤：

扩散模型的承诺：扩散在图像生成中展现了并行去噪的强大能力——为什么不能用于文本？

但文本扩散一直有个问题：

• 离散 token 空间上的扩散难以建模
• 固定长度生成限制了实用性
• likelihood 建模能力不如自回归

Arriola 等人（2025）说：别二选一了，我们做一个能插值两者的架构。

2. Block Diffusion 的核心：块级去噪 + 自回归灵活性 🧩

2.1 什么是"块"？

传统扩散模型一次性去噪整个序列（固定长度）。自回归模型逐个生成 token（可变长度，但串行）。

Block Diffusion 的中间路线：

把序列分成"块"（block），在块级别进行扩散去噪，块之间保持自回归关系。

2.2 KV Caching + 并行采样

Block Diffusion 保留了自回归模型的关键优化——KV Cache：

块级别的 KV Cache：已生成的块可以被缓存，新块生成时复用历史计算的 key/value，避免重复计算。

同时，在单个块内部，token 是并行采样的：

结果：既享受了扩散的块内并行加速，又保留了自回归的块间灵活扩展。

3. 训练 recipe：三个关键 ingredient 🍳

Block Diffusion 不是简单的架构改动，而是一整套训练方法：

3.1 高效训练算法

传统扩散训练需要大量去噪步骤，计算成本高。Block Diffusion 优化了：

• 块级别的噪声调度：不同块可以有不同的噪声水平
• 梯度方差估计器：减少训练不稳定性
• 数据驱动的噪声调度：根据数据分布自适应调整噪声计划

关键洞察：文本数据的噪声特性与图像不同。图像扩散的噪声调度不能直接搬用到文本上——需要数据驱动的方法。

3.2 灵活长度生成

纯扩散模型在训练时固定序列长度，推理时无法生成更长或更短的文本。Block Diffusion 通过块级设计解决了这个问题：

• 训练时使用变长块
• 推理时可以动态增加或减少块数量
• 支持"任意长度序列生成"

实际意义：你可以让模型生成 100 个 token 的摘要，也可以生成 10,000 个 token 的长文——不需要为不同长度训练不同模型。

4. 数据说话：扩散模型的 SOTA 📊

Block Diffusion 在语言建模基准上达到了扩散模型的 SOTA：

注意：Block Diffusion 的 perplexity 可能仍不及同等规模的最优自回归模型，但在扩散模型家族中是最优的。它的价值不在于打败 GPT-4，而在于证明了扩散路线在文本上的可行性。

5. 为什么这很重要？🌍

5.1 对生成模型的意义

当前生成模型分为两大阵营：

Block Diffusion 可能是第三条道路：兼具两者的优点，避开两者的缺点。

5.2 对可控生成的意义

扩散模型的一个核心优势是可控性：你可以在去噪过程中施加约束（如"这句话必须包含某个词"）。自回归模型很难做到这一点——因为前面的 token 已经生成了，后面的 token 只能被动适应。

Block Diffusion 在块级别保留了这种可控性：

• 可以约束整个块的内容属性
• 可以在块之间进行编辑和重写
• 支持"填充"（infilling）——在已有文本中间插入新内容

应用场景：代码自动补全（中间填充）、文本编辑（局部重写）、受约束生成（必须包含关键词）。

6. 我的押注 💰

我赌 500 美元：到 2027 年，至少一个主流大模型（OpenAI、Google、Anthropic 或开源社区）会发布基于 Block Diffusion 或类似"块级扩散"架构的文本生成模型。

为什么？

1. 自回归的瓶颈已经显现：长文本生成的延迟问题、固定长度限制、可控性不足——这些都是真实的产品痛点。

2. 扩散在图像上的成功是先例：五年前没人相信扩散能生成高质量图像。现在 DALL-E 和 Midjourney 证明了扩散路线的价值。

3. Block Diffusion 解决了扩散文本化的关键障碍：灵活长度 + KV Cache + 并行采样——这三个问题一旦解决，扩散在文本上的应用门槛就消失了。

4. 可控生成是下一个战场：随着 AI 生成内容进入生产流程，"可控性"比"质量"更重要。扩散的可控性天生优于自回归。

敌人是谁？

• "自回归是唯一答案"的教条主义者——GPT 的成功不等于自回归是终极架构。
• 认为"扩散只适合连续数据（图像）"的偏见——离散 token 上的扩散已经证明了可行性。
• 忽视推理效率的产品经理——用户不会等待 10 秒才看到第一个 token。

7. 局限与未来 🔮

Block Diffusion 不是银弹：

1. Scale 尚未验证：当前结果主要在中小规模上验证。能否扩展到 100B+ 参数？

2. Likelihood 差距：虽然达到扩散 SOTA，但与最优自回归模型仍有 perplexity 差距。

3. 训练复杂度：块级噪声调度、数据驱动调度、梯度方差估计——这些增加了训练复杂度。

4. 与现有生态的兼容性：自回归模型有成熟的推理框架（vLLM、TensorRT-LLM 等）。Block Diffusion 需要新的推理基础设施。

但无论如何，Block Diffusion 提出了一个令人兴奋的可能性：文本生成不一定非要逐字逐句。有时候，"跳着生成"可能是更好的方式。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️