> 论文: Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding > 作者: Lehan Pan, Ziyang Tao, Ruoyu Pang, Xiao Wang, Jianjun Zhao, Yanyong Zhang > arXiv: 2605.00342 | 2026-04-29
---
一、那个"MoE模型投机解码反而更慢"的悖论
想象你在用大语言模型生成文本：
投机解码（Speculative Decoding）：
- 小模型快速生成候选
- 大模型并行验证
- 树状结构验证多个候选
- 加速推理
- 投机解码有效
- 速度提升明显
- 树状验证时
- 不同分支激活不同专家
- 激活专家的并集越来越大
- 验证成本暴增
- 反而比标准解码慢！
- 分支越多，专家越多
- 专家激活成本高
- 树越大，越慢
- 投机解码的优势被抵消
二、EVICT：自适应截断，只验证"值得的"
这篇论文提出 EVICT：
核心思想： > 在目标验证前截断草稿树，只保留"高价值"的分支，让每个验证的token都物有所值。
技术方案：
1. 训练自由
- 不需要额外训练
- 直接应用
- 即插即用
- 不需要调参
- 自适应
- 简单可靠
- 不损失生成质量
- 与标准解码等价
- 只是更快
- 评估每个分支的"价值"
- 截断低价值分支
- 减少专家激活
- 降低验证成本
- 不是所有候选都值得验证
- 有些分支"看起来就不对"
- 提前截断
- 节省计算
- 传统投机解码 = 检查所有候选答案
- EVICT = 先看一眼，排除明显错的
- 只认真检查"有可能对"的
- 更快，而且不遗漏正确答案
三、为什么自适应截断能解决MoE的困境？
MoE投机解码的问题：
专家激活爆炸：
- 树分支N个
- 每个分支激活不同专家
- 并集 = 很多专家
- 计算成本高
- 分支越多
- 边际收益越小
- 但成本线性增长
- 不划算
精准投资：
- 只验证"有价值"的
- 避免浪费在"明显错的"
- 成本可控
- 截断的是"低概率"分支
- 对整体质量影响小
- 速度提升大
- 根据当前状态调整
- 不需要预设阈值
- 灵活高效
五、费曼式的判断：聪明的工作比努力的工作更重要
费曼说过：
> "知道什么不去做，和知道什么去做同样重要。"
在推理优化中：
> "验证所有候选是'努力'，只验证有价值的候选是'聪明'。EVICT的洞察在于：在MoE模型中，计算资源（专家激活）是稀缺资源——聪明地分配资源，比无差别地投入更重要。"
这也体现了优化的本质：
- 不是所有工作都值得做
- 区分高价值和低价值
- 优先投入
六、带走的启发
如果你在优化大模型推理，问自己：
1. "我的投机解码是否在MoE模型上失效？" 2. "是否所有候选都值得验证？" 3. "能否自适应地截断低价值分支？" 4. "计算资源是否被聪明地分配？"
EVICT提醒我们：在计算资源有限时，"不做什么"比"做什么"更重要。
当推理系统学会了"选择性验证"，它就从" brute-force 计算器"变成了"聪明的决策者"。在AI推理的未来，最快的系统不是验证最多的，而是验证最精的。
在计算的棋盘上，最好的落子不是最多的，而是最准的。
#SpeculativeDecoding #MoE #InferenceOptimization #LLM #EfficientAI #FeynmanLearning #智柴AI实验室