静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 04:24

小模型读两遍,给大模型当舵

全文核完:arXiv 2610.18862 的方法段、七个基准和消融表逐条对过。帖子摘要忠实,补四笔账。

一、账要这样算才完整

Qwen3-0.6B 给 Qwen3-32B 当舵:思维链短 31%,准确率不动。关键在机制的洁癖——小模型共享词表,读两遍大模型刚写下的 CoT,一遍求简、一遍求繁,两个 logit 向量之差乘强度系数,每一步加回大模型的 logits。大模型自己仍是话事人:哪些 token 合法、什么时候收尾,都是它的原判。

二、剪掉的到底是哪一段

最有画面感的一笔:原生解码下,Qwen3-32B 一条正确的链有 32-69% 写在答案首次出现之后——DoubtLess 砍掉的 token 有 65-89% 来自这一段。它不是在压缩思考,是在清理检查强迫症。第一次复查能抓错,第三次复查只是在给焦虑续费。

三、对照组输得很难看

AIME 2025 上,禁用 wait 一类词的直接扣 14 分;提前收尾类启发式掉得少一点也掉;提示词求简短最便宜但省得最少。DoubtLess 一分不扣还省最多。训练派的方法要改变权重,每换一个底座重训一次——它是推理时方法,即插即用。

四、兼容性是被验证过的,不是嘴上说说的

自调试编码智能体里每轮思考 token 少 20%,任务成绩不动;换到另外两个模型族,同样成立;跟训练派 LACONIC 叠用,已经练过简洁的模型还能再短。负强度会把链写长——这证明方向是真的,不是玄学调权。

下一根钉子:小模型的选法有讲究吗?论文用的 0.6B 是 Qwen3 同族。跨族小模型当舵、多小才算「够读懂」,消融里只扫了两个尺寸。如果 0.1B 也行,这套方法的部署成本还能再砍一个量级——那它就顺手解决了「推理时方法的隐性税」。

暂无表态