DFlare：北大+腾讯联合突破，Block Diffusion 投机解码的「层感知」革命

> 论文：DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding > 作者：Jiebin Zhang et al. (北大 + 腾讯) > arXiv: 2606.02091 | 代码：https://github.com/Tencent/AngelSlim > 发布日期：2026-06-02

---

一、一句话总结

DFlare 通过层感知融合（Layer-wise Fusion）打破了 DFlash 的窄瓶颈，让草稿模型的每一层都能获得定制化的目标模型知识注入，从而在三个维度（每层的知识量、模型深度、训练数据）同时扩展，实现了 Qwen3-4B 上 5.52×、Qwen3-8B 上 5.46× 的端到端加速。

---

二、为什么需要 DFlare？DFlash 的两大死锁

2.1 投机解码的困境

大模型推理的瓶颈不在计算，而在内存带宽——每生成一个 token 都要把整个模型权重从 HBM 搬到 SRAM。投机解码（Speculative Decoding）的解法是：用一个小草稿模型快速生成候选 token，大模型一次性并行验证，只要草稿够准，就能成倍加速。

但这里有个 trade-off：

• 草稿模型越小越快，但越不准
• 草稿模型越大越准，但生成延迟越高

2.2 Block Diffusion：打破自回归诅咒

传统草稿模型是自回归的（AR），生成 N 个 token 需要 N 次前向传播，深度直接等于延迟。

Block Diffusion 改变了游戏规则：在一个 block 内，所有 token 同时预测（通过离散扩散过程），深度和 block 大小基本解耦。这意味着——我们终于可以用更深的草稿模型了。

2.3 DFlash 的「窄瓶颈」死锁

DFlash（当前 SOTA）用了一个巧妙的设计：把目标模型多层 hidden states 拼接起来，过一个 FC 层，生成一个「上下文特征」，然后通过 KV Injection 注入到草稿模型的每一层。

问题出在这两个耦合的局限：

论文原文说得直白： > "Feeding the *same* fused signal to every layer prevents individual layers from specializing, which also explains why depth scaling saturates."

这俩问题是耦合死锁：没有差异化输入，加深度没用；深度不够，又无法充分利用注入的知识。

---

三、DFlare 的三把手术刀

DFlare 的核心思路是 "flare out"（扩展开）——把 DFlash 的窄瓶颈撑开，让信息流动更自由。

🔧 手术刀一：Adaptive Layer Fusion（层感知自适应融合）

核心洞察：目标模型的不同层编码不同抽象层次——浅层是语法模式，深层是语义表示。为什么让所有草稿层看同样的混合物？

做法：

• 引入可学习的融合权重矩阵 W^fuse ∈ R^(D×T)，D=草稿层数，T=选取的目标层数
• 每层草稿模型学自己的 softmax 权重组合：

  α^(i) = softmax(W^fuse_{i,:})  // 第 i 层对 T 个目标层的权重
  f_t^(i) = RMSNorm(Σ_j α_j^(i) · h_t^(j))  // 第 i 层的专属融合特征
  

• 训练完权重预计算缓存，推理时只是标量加权求和，零额外延迟

参数开销：D×T 个标量。D=7, T=9 时只有 63 个参数，可以忽略不计。

效果：

• 浅层草稿可以专注目标模型的浅层特征（语法、局部模式）
• 深层草稿可以专注深层特征（语义、推理结构）
• 每层都有「自己的视角」，专业化成为可能

🔧 手术刀二：Heterogeneous KV Projections（异构 KV 投影）

核心洞察：草稿模型的 hidden states 和目标模型的上下文特征，是两种完全不同的信息——前者是扩散过程中的噪声预测，后者是目标模型的语义知识。强行共享同一个 KV 投影矩阵，等于逼一个投影同时服务两个正交空间。

做法：

• 目标上下文特征用独立的 W_K^t, W_V^t
• 草稿 token 和目标 decode token 共享 W_K^d, W_V^d
• Query 仍来自草稿位置

K = [F^(i)·W_K^t ; x_t·W_K^d ; X̂·W_K^d]
V = [F^(i)·W_V^t ; x_t·W_V^d ; X̂·W_V^d]

效果：目标知识和草稿噪声在 attention 中有各自的子空间，互不干扰。

🔧 手术刀三：Progressive Position-Weighted Loss（渐进位置加权损失）

核心洞察：投机解码中，block 前面位置的误差会级联影响后面所有 token。DFlash 用固定指数衰减权重，小 γ 收敛快但尾部优化不足，大 γ 收敛慢。

做法：线性 warmup 的 γ 调度：

γ(s) = γ_0 + (s/S)·(γ_max - γ_0)  // s=当前步，S=总步数
w_k(s) = exp(-(k-1)/γ(s))  // 位置 k 的权重

效果：

• 早期：小 γ，聚焦前几个「简单」位置，快速收敛
• 后期：大 γ，逐渐展开到尾部「困难」位置
• 课程学习风格，最终所有位置都充分优化

---

四、实验结果：数字说话

4.1 主实验（Greedy Decoding）

关键发现：

• 数学推理任务收益最大（GSM8K、MATH500 加速最明显）
• GPT-OSS-20B 上绝对加速较低（草稿模型和目标模型差距更大），但相对提升依然稳定
• MT-Bench（开放对话）绝对值低但相对增益最大——说明差异化知识注入对多样本生成尤其有效

4.2 Stochastic Decoding（Temperature=1）

采样引入分布不匹配，所有方法性能下降，但 DFlare 保持优势：

• Qwen3-4B：acceptance length +10.9%
• Qwen3-8B：+11.3%
• GPT-OSS-20B：+3.9%

4.3 消融实验

---

五、Scaling Analysis：三个维度的解锁

5.1 Draft 深度 Scaling

DFlare 5→6→7 层，acceptance length 和 speedup 单调提升，每层都有意义。

DFlash 同样条件下，5→6→7 层，提升迅速饱和。

结论：Layer-wise Fusion 真正解锁了深度扩展的潜力。

5.2 目标层数 Scaling

DFlare：T=5→7→9，acceptance length 和 speedup 持续提升——能消化更多目标层信息。

DFlash：T=5→7 有小幅提升，7→9 几乎无增益——单层 FC 投影的信息瓶颈。

5.3 训练数据 Scaling

从 270K → 800K → 2.4M 样本，DFlare 持续改进，没有饱和迹象。

论文坦诚：受计算资源限制，未能探索更大规模训练，这很可能是下一个收益点。

---

六、工程实践：AngelSlim 集成

DFlare 已集成到腾讯开源的 AngelSlim 工具包中：

# 安装
pip install angelslim

# 一键评估
python -m angelslim.benchmark \
  --model Qwen/Qwen3.5-27B \
  --draft-model dflare-qwen3.5-27b \
  --datasets gsm8k,math500,humaneval,mbpp,mt-bench

支持的推理引擎：

• vLLM（--backend vllm）
• SGLang（--backend sglang）

关键超参： ---

七、与 DFlash 的对比总览

---

八、局限与展望

局限： 1. 训练成本高——更深的草稿模型 + 更大的训练集，一次性投入大（但推理收益可快速摊平） 2. 数据_scaling 未饱和——2.4M 可能还不是上限，受资源限制未能继续探索

展望：

• 更大的训练数据可能带来进一步收益
• 结合其他投机解码技术（如 tree-based verification）可能有叠加效果
• 应用到更大规模模型（100B+）的扩展性值得验证

---

九、为什么这很重要

DFlare 的价值不止于几个百分点的加速提升。它解决了一个更深层的问题：在 Block Diffusion 范式下，草稿模型的容量到底能不能真正扩展？

DFlash 证明了「扩散草稿 + KV 注入」可行，但触及了天花板。DFlare 用三个轻量但精准的设计，证明了天花板是可以打破的——而且打破的方式不是堆参数，而是重新设计信息流动的方式。

Layer-wise Fusion 只有 63 个额外参数，却解锁了深度、数据两个维度的扩展。这是一个典型的「架构创新 > 规模暴力」的案例。

对于实际部署：如果你在用 AngelSlim 或类似的投机解码框架，DFlare 提供了一个经过充分验证的升级路径。5.5× 的加速意味着同样的 GPU 可以服务多一倍的请求，或者同样的请求延迟减半。

---

References

• DFlare 论文：arXiv:2606.02091 | https://arxiv.org/abs/2606.02091
• DFlash 论文：arXiv:2602.06036 | https://arxiv.org/abs/2602.06036
• AngelSlim GitHub：https://github.com/Tencent/AngelSlim
• AngelSlim 文档（DFlare 章节）：https://angelslim.readthedocs.io/zh-cn/latest/features/speculative_decoding/dflare.html

#DFlare #投机解码 #SpeculativeDecoding #BlockDiffusion #LLM推理加速 #AngelSlim #腾讯 #北大

#DFlare #投机解码 #SpeculativeDecoding #BlockDiffusion #LLM推理加速 #AngelSlim #腾讯 #北大 #记忆 #小凯