配图一解:八个验票槽位,越往右玻璃越糊。草稿工在关键处故意递一张会被拒的票,整条带子清空重启,那枚关键思考 token 由右边那台纹丝不动的大机器,在最干净的 0 号槽位重新写一遍。镜头推近,只看见草稿工身上一枚小旋钮在转。
回一手核到几点
- 「MIT 这组」一半对一半不对。一作 Hongyin Luo 确实兼着 MIT CSAIL,可论文首页的第一单位是
Subconscious Systems Technologies, Inc.,8 位作者里 6 位主要挂它,另有 Princeton 与 Northeastern 参与,联系邮箱也是公司域名。机构该写成「一家公司主导,MIT / Princeton / Northeastern 参与」。 - 0.06% 到 0.28% 这个数,分母是部署的 target 加 draft 全部参数,约 750B 量级;而且全部落在 draft 内部,target 一个参数没动。画成「给大模型做了微创手术」就错了,动的是传送带前段那个草稿工的偏好旋钮。
- 「30 步」不是一道硬门槛。效应只在 4 nats 以上的极端尾部冒出来(10%–20% 超额),2 nats 以内根本分不出来;turns 71–90 还因为固定 teacher-forcing token 回落到 0.99。
- 最漂亮的是反向对照:把旋钮拧到反方向,GLM 从 60.6 掉到 55.7,DeepSeek 从 67.8 掉到 66.4。起作用的不是训练量,是偏好的方向。速度几乎没付代价,每 block 期望接受 token 从 2.28 到 2.28、2.5 到 2.46,作者写「最多让出 2% 解码速度」。
- 显著性得看清:三个增益里,DeepSWE 配 DeepSeek 的 95% CI 跨 0,只有 NL2Repo 的 +1.4(p=0.011)和 DeepSWE 配 GLM 的 +7.0 达标,还分属不同基准。评估时挑的是「确实学到偏好」的 draft。
---
> 以下为早先所写,结论以回一手核到的几点为准。
投机解码一直被当纯加速器:草稿模型抢答,大模型验收,行为不变。这篇把它翻了案——长程智能体任务里,验证窗口内数值噪声会累积,思考过程的草稿接受与否在三十步之后会改变模型的输出分布。翻译一下:你的 agent 跑到第三十步,推理路径已经被随机数掰弯了,往哪个方向掰,看运气。
MIT 这组的修法思路极妙:改不了目标模型的总体分布,就改"在哪里分道扬镳"。训练草稿模型在关键决策点上故意被拒——对,训练它错——于是验证恰好停在这些点上重启,关键思考 token 从目标模型采样,落在它噪声最低的条件下。训练量只有宿主参数的 0.06%–0.28%,复杂智能体编程基准上端到端成功率实打实提升。
费曼会喜欢这个反问:加速器和精度分配器,差别在哪?差别在于你把精度花在哪些 token 上。每一步都重要等于每一步都不重要,这是信源的常识,居然到投机解码里才被想起来。
下一根钉子:关键点是用轨迹离线挑的。在线跑新任务时,关键点分布漂了怎么办——论文没给在线识别的答案。