DFlash 扩散语言模型、dLLM、MTP 与投机解码 —— 深度研究报告

Deep Research Report | 2026年6月12日

研究范围：扩散语言模型（dLLM）架构演进、DFlash 块扩散投机解码、多 Token 预测（MTP）与推理加速技术体系的交叉分析

摘要

大语言模型推理的根本瓶颈在于自回归解码的串行性质——每生成一个 token 都依赖前一个 token。本报告围绕打破这一瓶颈的三条技术路线展开系统性研究：(1) 扩散语言模型（dLLM），以并行去噪替代逐 token 生成；(2) DFlash 块扩散投机解码，将扩散模型作为轻量草稿器配合自回归目标模型验证，实现 5-6 倍无损加速；(3) 多 Token 预测（MTP），通过训练目标改造使模型具备并行预测能力。研究发现，这三条路线的汇流正催生 LLM 推理的范式转变——扩散模型不一定要在生成质量上与自回归模型竞争，它们作为"智能草稿器"所展现的效率优势已足以改变推理架构的设计哲学。DFlash 在数学推理任务上达到 6.17 倍加速、Dream 7B 在规划任务上超越同规模自回归模型、FastMTP 相比原始 MTP 提升 82%——这些实证结果表明，扩散+投机+多 Token 预测的组合拳是当前 LLM 推理加速最具前景的技术方向。

关键词：扩散语言模型（dLLM）、DFlash、块扩散（Block Diffusion）、投机解码（Speculative Decoding）、多 Token 预测（MTP）、KV 注入、推理加速

1. 引言

1.1 自回归解码的不可逾越之墙

当前所有主流大语言模型——从 GPT 系列到 LLaMA、Qwen、DeepSeek——均采用自回归（Autoregressive, AR）解码。其工作机制简洁优雅：给定前缀 $x_{<t}$，预测下一个 token $x_t$，然后将其拼接到序列中，重复此过程。

这一机制的根本问题在于内存墙（Memory Wall）：每次前向传播只生成一个 token，而 GPU 的计算能力远超单 token 生成所需。对于 7B 级别的模型，单 token 生成的 GPU 利用率通常不足 5%。序列越长，浪费越严重。正如 Xia et al. (2024) 在 ACL 2024 投机解码综述中所指出的，自回归解码的串行依赖造成了"根本性的吞吐量瓶颈"。

1.2 三条破局之路

面对这堵墙，学术界和工业界探索了三条技术路线：

1. 投机解码（Speculative Decoding）：用轻量级"草稿模型"快速生成多个候选 token，再由目标模型并行验证。这是当前最成熟的推理加速范式，已被 vLLM、SGLang 等主流推理框架广泛集成。

2. 扩散语言模型（dLLM）：抛弃自回归范式，采用离散扩散过程——从完全掩码状态出发，通过迭代去噪并行生成文本。代表性工作包括 LLaDA、Dream 7B、MDLM 等。

3. 多 Token 预测（MTP）：修改训练目标，让模型在每个位置预测未来多个 token，在训练和推理两端同时受益。Google 的 Gemma 4 已将 MTP 作为核心推理加速机制。

1.3 本报告的研究问题

本报告聚焦这三条路线的交叉地带——当扩散模型不再试图取代自回归模型，而是作为投机解码的"智能草稿器"时，会发生什么？DFlash 正是这一交叉点的代表性工作。我们将系统回答：

• RQ1: 扩散语言模型（dLLM）的关键技术演进路线是什么？主要模型（LLaDA、Dream 等）在架构、训练和性能上有何异同？
• RQ2: DFlash 如何通过块扩散+KV 注入实现远超 EAGLE-3 等方法的推理加速？其核心技术创新是什么？
• RQ3: MTP 在投机解码框架中扮演什么角色？与扩散起草之间有何互补关系？
• RQ4: 扩散+投机+多 Token 预测的技术组合代表了 LLM 推理的何种范式转变？其局限性与未来方向何在？

2. 背景

2.1 投机解码：原理与方法分类

投机解码（Speculative Decoding）的核心思想由 Leviathan et al. (2023) 和 Chen et al. (2023) 独立提出：让一个轻量级草稿模型（draft model）快速生成 $k$ 个候选 token，然后由目标模型（target model）在单次前向传播中并行验证。验证通过（即草稿 token 与目标模型预测一致）的 token 被接受，失败位置之后的 token 被丢弃，目标模型额外生成一个 bonus token。

加速比公式：若每次接受 $\tau$ 个 token（含 bonus），则加速比为

$$\eta = \frac{T_{\text{target}}}{\tau} \cdot (T_{\text{draft}} + T_{\text{verify}})$$

投机解码的方法谱系可分为三大类（Xia et al., 2024, ACL 2024）：

2.2 多 Token 预测（MTP）

MTP 的核心思想是在训练时让模型预测未来 $n$ 个 token（而非仅下一个），从而：(1) 提升训练效率和模型对长程依赖的建模能力；(2) 在推理时作为投机解码的草稿生成器。

Globecki et al. (2024) 在 Meta 的突破性工作中证明，MTP 在代码生成任务上带来 17% 的提升，推理速度可加快 3 倍。Google 的 Gemma 4 将 MTP 作为标准架构组件，通过专用 MTP 头实现高效的投机解码。FastMTP (Cai et al., 2025) 进一步通过训练-推理对齐和动态词汇压缩，将 MTP 的加速效果提升 82%，达到平均 2.03 倍加速。

2.3 扩散语言模型（dLLM）：从连续到离散

扩散模型在图像生成领域（DDPM, Ho et al., 2020）取得了巨大成功。将其迁移到文本生成的关键挑战在于文本的离散性——你不能像加高斯噪声到像素那样加噪声到 token。

早期工作（Diffusion-LM, Li et al., 2022）采用连续空间嵌入+量化回离散空间的迂回策略。2024 年后，离散扩散（Discrete Diffusion） 成为主流：

• D3PM (Austin et al., 2021)：在离散状态空间定义前向扩散和反向去噪过程，奠定了离散扩散的理论基础
• MDLM (Sahoo et al., 2024, NeurIPS 2024)：提出简洁有效的掩码扩散语言建模，证明离散扩散在可控文本生成上的优势
• LLaDA (Nie et al., 2025)：首次将掩码扩散扩展到 8B 规模，在自然语言理解、数学推理和代码生成上匹配同规模自回归模型
• Dream 7B (Ye et al., 2025)：通过 AR 模型权重初始化和上下文自适应噪声重调度两项创新，在规划任务上超越自回归模型

2.4 训练与推理方法

扩散语言模型的训练采用前向加噪-反向去噪框架：

• 前向过程：随机选择时间步 $t$，按概率将部分 token 替换为 [MASK] 标记
• 反向过程：模型学习从掩码状态恢复原始 token，训练目标通常为加权交叉熵损失
• 推理：从全部 [MASK] 开始，通过迭代去噪逐步还原文本

加速推理是当前最活跃的研究方向：

• 少步蒸馏（IMDM, CD4LM）：通过一致性蒸馏将去噪步数从数百步压缩到个位数
  
• 训练免优加速：FlashDLM (Hu et al., 2025) 通过 KV 缓存复用和引导扩散，实现平均 12.14 倍加速
  
• 投机解码集成：DFlash 将扩散模型重新定位为投机解码的草稿器

3. DFlash：块扩散投机解码

3.1 核心设计哲学

DFlash (Chen, Liang & Liu, 2026) 的作者提出了一个关键的范式转变：扩散模型不需要在生成质量上与自回归 LLM 竞争——它们只需要成为优秀的草稿生成器。这一洞察使扩散模型从"AR 替代者"转变为"AR 加速器"，绕过了扩散模型在独立生成时质量不足的根本限制。

3.2 架构设计

DFlash 采用经典的草稿模型 + 目标模型双模型架构：

┌──────────────────────────────────────────────────┐
│                  DFlash 推理流程                    │
├──────────────────────────────────────────────────┤
│  Prefill 阶段                                     │
│  1. 目标模型处理输入 prompt，生成首个 token          │
│  2. 从目标模型 5 个均匀分布层提取隐藏特征             │
│  3. 隐藏特征拼接后通过 W_c ∈ ℝ^{D×5D} 投影融合       │
│  4. RMSNorm 归一化 → 目标上下文特征                  │
├──────────────────────────────────────────────────┤
│  Draft + Verify 循环                              │
│  5. 目标上下文特征注入草稿模型每层 KV cache          │
│  6. 草稿模型块扩散并行生成 16 个候选 token            │
│  7. 目标模型单次前向验证所有候选 token                │
│  8. 按推测解码规则接受/拒绝 → 更新 KV cache          │
└──────────────────────────────────────────────────┘

3.3 KV 注入：区分于 EAGLE-3 的关键设计

KV 注入是 DFlash 最具原创性的技术创新。与 EAGLE-3 仅在第一层输入目标特征不同，DFlash 将目标上下文特征直接注入到草稿模型每一层的 Key/Value 投影中：

$$Q_i = W_i^Q \cdot H_d$$

$$K_i = [W_i^K \cdot H_t \;|\; W_i^K \cdot H_d]$$

$$V_i = [W_i^V \cdot H_t \;|\; W_i^V \cdot H_d]$$

• 注入的特征存储在草稿模型的 KV cache 中，跨起草迭代复用
• 目标特征仅作为额外 KV 条目，不参与 Q 投影、输出投影和 FFN 计算
• 接受长度随草稿层数有效扩展——这是 EAGLE-3 无法实现的（信号随层数稀释）

消融实验明确验证了这一设计的优越性：KV 注入在所有设置下均优于 EAGLE-3 的输入融合方式。

3.4 块扩散并行起草

DFlash 使用块扩散在一次前向传播中并行生成整个 token 块（默认 block_size=16）：

• 起草延迟 $T_{\text{draft}} = t_{\text{parallel}}$（单次前向传播），而非自回归起草的 $\gamma \times t_{\text{step}}$
• 从目标模型最后一个已验证 token 开始，mask 后续 $\gamma-1$ 个位置
• 单步去噪即可生成高质量草稿（无需多步迭代）

这使得 DFlash 可以使用更深的草稿模型（5-8 层），而自回归草稿模型通常限制在 1 层以控制延迟。

3.5 训练方法

DFlash 的训练引入了几项关键创新：

随机锚点采样：训练时从 response 序列中随机采样锚点位置（而非均匀分块），mask 其后的 block_size-1 个位置。这直接匹配推理时的行为模式（草稿模型始终以目标模型生成的干净 token 为条件），显著提升接受长度。消融实验中，随机锚点采样相比标准分块提升了 13-18% 的加速比。

指数衰减损失加权：块内第 k 个位置的 token 损失权重 $w_k = \exp(-(k-1)/\gamma)$，其中 $\gamma=7$（block_size=16）。理由：推测解码中早期位置的错误会导致所有后续 token 失效。

训练-推理块大小泛化：大块训练（block_size=16）的模型可以泛化到较小推理块（block_size=8），反向则不行。

3.6 实验性能

3.6.1 贪婪解码（温度=0）

DFlash 在 Qwen3-8B 上实现平均 4.86× 加速，远超 EAGLE-3 (16) 的 1.76×：

接受长度对比：DFlash 的 $\tau$ 值在 MATH-500 上达到 7.84-7.87，而 EAGLE-3(16) 仅为 2.65-3.30。

3.6.2 采样模式（温度=1）

DFlash 在温度=1 下仍保持强劲性能：Q3-8B 平均加速比 4.03×（vs EAGLE-3 16 的 1.68×）。

3.6.3 生产环境（SGLang + B200 GPU）

3.6.4 长上下文泛化

通过 LongAlign-10K 微调 3 个 epoch 后，DFlash 在 16K 上下文上甚至超越 4K 上下文性能——Qasper 数据集上从 3.57× 提升至 6.00×。

3.7 模型生态

DFlash 已为以下模型提供预训练草稿模型：Gemma-4-31B、Qwen3.5-27B/122B、Qwen3.6-27B、Kimi-K2.6、GPT-OSS-120B、LLaMA-3.1-8B、DeepSeek-V4-Flash（即将推出）、GLM-5.1（即将推出）。

已深度集成到 vLLM (v0.20.1+)、SGLang、Transformers 和 MLX (Apple Silicon) 推理框架。

4. 扩散语言模型全景

4.1 关键模型谱系

根据 VILA-Lab 的 Awesome-DLMs 仓库（1.1k+ stars）和 Yu et al. (2025) 的综述，离散扩散语言模型的关键演进如下：

4.2 Dream 7B：扩散模型的里程碑

Dream 7B（HKU NLP + 华为诺亚方舟实验室）是目前最强的开源扩散语言模型。其两项关键创新：

AR 模型权重初始化：从 Qwen2.5-7B 权重出发进行扩散训练，使模型继承 AR 模型的已有知识，大幅减少预训练所需 token 数。这一发现颠覆了"扩散模型需要从零训练"的固有观念。

上下文自适应噪声重调度：传统离散扩散中，同一时间步的所有 token 使用相同噪声水平。Dream 根据每个 token 的局部上下文动态重新分配噪声水平，为学习过程提供更细粒度的指导。

在 Countdown 和 Sudoku 等规划任务上，Dream 7B 不仅超越同规模 AR 模型（Qwen2.5-7B、LLaMA3-8B），甚至有时超越 DeepSeek V3 (671B)，展现扩散模型在多约束目标达成任务上的独特优势。

4.3 推理加速前沿

值得注意的是，FlashDLM (Hu et al., 2025) 报告的 12.14 倍加速是针对扩散模型独立推理场景的"训练免优"加速，而 DFlash 的 5-6 倍加速是在"保证输出质量无损"前提下的投机解码加速——两者的加速定义和约束条件不同，不可直接比较。

5. MTP 与投机解码的协同

5.1 MTP 的两种应用范式

MTP 在 LLM 中有两种不同的应用范式：

范式一：训练端应用——修改训练目标，提升模型质量

• 在训练时预测未来 n 个 token，增强模型对长程依赖的建模
  
• 代码生成任务提升 17%（Gloeckle et al., 2024）
  
• 代表性：Meta 的基础研究、DeepSeek-V3 的 MTP 训练目标

范式二：推理端应用——作为投机解码的草稿生成器

• 利用 MTP 头并行预测多个未来 token 作为草稿
  
• 主模型验证草稿，实现无损推理加速
  
• 代表性：Gemma 4 MTP、FastMTP

5.2 FastMTP：训练-推理对齐的关键

FastMTP (Cai et al., 2025) 的核心发现是：传统 MTP 的训练模式与实际推理模式不匹配。训练时 MTP 头基于真实上文预测未来 token，而推理时 MTP 头需要基于上一个预测结果递归预测——这种分布偏移导致多步草稿质量急剧下降。

FastMTP 的解决方案：
1. 自蒸馏微调：使 MTP 头在训练时模拟递归预测场景
2. 位置共享权重：单个 MTP 头在不同预测位置共享参数，减少参数开销
3. 语言感知动态词汇压缩：根据输入语言类型动态调整候选词汇集大小

实验结果：平均 2.03 倍加速（无损质量），比原始 MTP 提升 82%。

5.3 MTP 与扩散起草的互补性

DFlash 的块扩散起草与 MTP 方案存在深层互补：

当前尚无工作探索 MTP 训练目标与扩散起草的协同。一个可能的未来方向是：用 MTP 目标训练扩散草稿模型，进一步提升其多 token 预测质量。

6. 投机解码方法全景对比

6.1 主流方法对比

6.2 DFlash 超越 EAGLE-3 的根本原因

DFlash 较 EAGLE-3 实现 2.4-2.8 倍加速提升，根因有三：

1. 起草延迟的解耦：自回归起草的延迟 $\propto \gamma$（草稿长度），扩散起草的延迟对 $\gamma$ 不敏感。5 层 DFlash 生成 16 token 的延迟低于单层 EAGLE-3 生成 8 token。

2. KV 注入的信息保持：EAGLE-3 仅在第一层注入目标特征，信号随层数深度指数衰减；DFlash 每层注入，实现持续条件化。

3. 块内双向上下文：扩散模型在块内使用全注意力（而非因果注意力），能利用双向上下文提升预测质量。

6.3 生产环境性能衰减分析

DFlash 在高并发下加速比衰减（32 并发时降至 2.8×）是因为 GPU 计算资源已接近饱和，自回归解码的串行瓶颈相对减弱。这在所有投机解码方法中普遍存在，而非 DFlash 特有问题。

7. 讨论

7.1 范式转变：从"取代 AR"到"增强 AR"

本报告追踪的技术演进揭示了一个深刻的范式转变：

• 第一阶段（2021-2024）：扩散模型作为自回归的替代方案，目标是独立完成文本生成任务
• 第二阶段（2024-2025）：LLaDA、Dream 等证明扩散模型可以在相当规模下匹配 AR 模型，但独立推理的成本——数百步去噪——仍是巨大障碍
• 第三阶段（2025-2026）：DFlash 代表的扩散-投机融合范式——扩散模型不再追求独立生成，而是作为 AR 模型的智能加速器

这一转变绕过了扩散模型的核心弱点（迭代去噪开销），同时利用其核心优势（并行生成、双向上下文），实现了 1+1>2 的效果。正如 DFlash 论文所述："扩散模型不需要在生成质量上竞争——它们只需要成为优秀的草稿器。"

7.2 局限与开放问题

尽管进展显著，以下挑战依然存在：

1. 高并发下的加速衰减：DFlash 在 32 并发时加速比降至 2.8×。服务商需要在 batch size 和加速比之间做出权衡。

2. 草稿模型训练成本：虽然 DFlash 训练仅需 6 epoch @ 800K 样本（相对轻量），但每个目标模型都需要独立的草稿模型。这限制了在快速迭代场景中的适用性。

3. 扩散-自回归的深层融合：当前 DFlash 中目标模型和草稿模型是独立的。一个开放的架构问题是：能否将扩散能力原生嵌入自回归模型架构，实现端到端的统一训练？

4. 长序列场景：DFlash 在长上下文上展现了良好的泛化能力（16K 上下文加速比可达 6×），但 block_size=16 在超长序列（100K+）场景下是否仍然最优？

5. 多模态扩散-投机：Yu et al. (2025) 的综述提到了 dMLLM（离散扩散多模态语言模型）的兴起，但扩散投机的多模态扩展尚未被探索。

7.3 未来方向

基于本报告的研究，我们识别出以下高价值研究方向：

• 自适应块大小：根据上下文难度动态调整扩散块大小，简单上下文使用大块，复杂推理使用小块
• MTP-扩散协同训练：用 MTP 目标训练扩散草稿模型，进一步提升多步预测质量
• 零样本草稿模型：探索跨模型的草稿模型泛化，减少训练成本
• 扩散思维链：Dream 7B 在规划任务上的优势暗示，扩散过程可能天然适合推理和规划——将其与投机解码结合可能产生"深思-快答"的混合推理模式
• 边缘部署：DFlash 在 Apple Silicon (MLX) 上的支持为移动端 LLM 推理加速开辟了新的可能性

8. 结论

本报告围绕 DFlash、dLLM、MTP 与投机解码的交叉地带进行了系统性深度研究。主要发现如下：

1. 扩散语言模型已经成熟：从 D3PM 到 LLaDA 2.0 (100B)，扩散语言模型在规模和性能上已可与自回归模型并驾齐驱。Dream 7B 在规划任务上的优势更提示了扩散范式的独特价值。

2. DFlash 是投机解码的新 SOTA：通过块扩散+KV 注入两项核心创新，DFlash 实现了 5-6 倍的无损推理加速，比 EAGLE-3 快 2.5 倍以上。它证明了扩散模型作为"智能草稿器"的巨大潜力。

3. MTP 是重要的互补技术：MTP 在训练端提升模型质量，在推理端提供投机解码的草稿生成能力。FastMTP 的训练-推理对齐策略将 MTP 加速效果提升 82%。

4. 技术融合是未来方向：扩散+投机+多 Token 预测的组合代表 LLM 推理的新范式——从"取代 AR"转向"增强 AR"。这一范式转变正在被 vLLM、SGLang 等主流推理框架快速采纳。

随着 DFlash 对更多模型（DeepSeek-V4、GLM-5.1）的支持推进，以及扩散投机方法在工业界（Google Gemma 4 MTP、字节跳动 Seed Diffusion）的落地，LLM 推理的效率边界将迎来新一轮突破。

参考文献

核心论文

1. Chen, J., Liang, Y., & Liu, Z. (2026). DFlash: Block Diffusion for Flash Speculative Decoding. arXiv:2602.06036.

2. Yu, R., Li, Q., & Wang, X. (2025). Discrete Diffusion in Large Language and Multimodal Models: A Survey. arXiv:2506.13759.

3. Xia, H., Yang, Z., Dong, Q., Wang, P., Li, Y., Ge, T., Liu, T., Li, W., & Sui, Z. (2024). Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding. ACL 2024 Findings. arXiv:2401.07851.

4. Ye, J., Xie, Z., Zheng, L., Gao, J., Wu, Z., Jiang, X., Li, Z., & Kong, L. (2025). Dream 7B: Diffusion Language Models are Strong Planners. arXiv:2508.15487.

5. Nie, S., et al. (2025). Large Language Diffusion Models (LLaDA). arXiv:2502.09992.

6. Nie, S., et al. (2025). LLaDA 2.0: Scaling Up Diffusion Language Models to 100B. arXiv:2512.15745.

投机解码方法

1. Hu, Z., Meng, J., Akhauri, Y., Abdelfattah, M. S., Seo, J., Zhang, Z., & Gupta, U. (2025). FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion. arXiv:2505.21467.

2. Cai, Y., et al. (2025). FastMTP: Accelerating LLM Inference with Enhanced Multi-Token Prediction. arXiv:2509.18362.

3. Leviathan, Y., Kalman, M., & Matias, Y. (2023). Fast Inference from Transformers via Speculative Decoding. ICML 2023.

4. Chen, C., Borgeaud, S., Irving, G., Lespiau, J. B., Sifre, L., & Jumper, J. (2023). Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318.

扩散语言模型基础

1. Austin, J., Johnson, D., Ho, J., Tarlow, D., & van den Berg, R. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces (D3PM). NeurIPS 2021.

2. Sahoo, S. S., et al. (2024). Simple and Effective Masked Diffusion Language Models (MDLM). NeurIPS 2024.

3. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS 2020.

4. Gloeckle, F., et al. (2024). Better & Faster Large Language Models via Multi-token Prediction. arXiv:2404.19737.

在线资源

1. Awesome Diffusion Language Models. GitHub: VILA-Lab/Awesome-DLMs.

2. Awesome Multi-Token Prediction. GitHub: Xiaohao-Liu/Awesome-Multi-Token-Prediction.

3. Speculative Decoding Papers. GitHub: hemingkx/SpeculativeDecodingPapers.

4. DFlash GitHub Repository. GitHub: z-lab/dflash.

5. DFlash Project Page. https://z-lab.ai/projects/dflash/

6. DFlash DeepWiki Architecture. https://deepwiki.com/z-lab/dflash/5-architecture

7. Google Gemma 4 MTP Documentation. https://ai.google.dev/gemma/docs/mtp/overview

研究免责声明：本报告由 AI 辅助研究工具生成，所有引用均基于公开可获取的学术论文、预印本和开源项目文档。本报告不代表原作者观点，引用前请核实原始来源。

研究方法：本研究采用系统性文献检索与证据综合方法，检索数据库包括 arXiv、Semantic Scholar、Google Scholar，以及 GitHub 和 HuggingFace 等开源平台。检索关键词包括 "diffusion language model"、"dLLM"、"block diffusion"、"speculative decoding"、"multi-token prediction"、"DFlash" 及其组合。纳入标准为 2021-2026 年间发表的英文和中文相关研究。