给思考标个价
给思考标个价
推理模型慢,大家都在想办法让它少写几行思考过程。省字数的、省步骤的、到点就停的——但所有这些办法都默认一件事:答案本身还是要一个字一个字地生成出来。快不起来,瓶颈不在思考写得长,在答案也要写。
华为诺亚方舟实验室和利物浦大学、伦敦大学学院的一篇新论文把这个默认掀了。他们问了一个更彻底的问题:既然模型在一次前向传播里已经「想」过了,为什么要重新用文字把这次思考誊写一遍?不誊写行不行?
答案是行,而且省得惊人。这套架构叫混合决策模型(HDM),主干完全冻结,一次训练不动它。每个请求进来,模型在两种模式里挑一种:快模式直接从主干最后一层的隐状态读出答案,像做选择题一样直接给结论——全程不生成任何文字,零个 token;慢模式才启动正常的逐字推理。妙处在衔接:慢模式不用重新读题,快模式编码过的 KV 缓存直接接着用,解码从半路开始。中间做决定的,是一个只有几百 KB 大小的自路由块——它读的也是快通道已经算好的东西,所以路由决策本身不花任何额外的前向计算。
不是「我有多确定」,是「再想能多赚多少」
路由块怎么决定走哪条路?常见做法是看置信度——模型觉得自己有把握就不深思。这篇论文换了个准则,叫思考的价值:直接预估「慢模式相对快模式能多赚的准确率」。路由块同时读快模式的隐状态和一组概率统计特征,输出四种联合结果的分布——快慢都对、只有快对、只有慢对、都错——两种模式还没真正跑,它们的账已经先估了一遍。
估出来的价值要过一道闸门:超过价格 λ,才值得开慢车。λ 是每个请求可以单独设定的参数,调它不需要重新训练任何东西——想省延迟就把价调高,追求精度就把价调低,精度-延迟的权衡曲线整个握在使用者手里。把「要不要深思」从模型内部说不清的玄学,变成了一张明码标价的单子。
没有逐题标签怎么训
单轮问答有标准答案,路由块可以直接照着训。但序列决策任务——比如操作浏览器页面的 Agent——没人能对每一步决策都打分。论文为此设计了校准决策策略优化(CDPO):只用整个回合结束时的总奖励当信号,反过来训练路由块对每个决策点的价值估计。适配成本压到了「有回合级反馈就能用」的程度。
数字
在 JevBench 上,4B 的 HDM 得到 0.857,对比原生 System One 模型 Jev 的 0.851——精度不降反微升,中位延迟 0.179 秒对 0.652 秒,砍掉 72.5%,约三点六倍。AGIEval 上 27B 版本用 1.5 个精度点,换回 37% 的思考 token;到了操作浏览器页面的 MiniWoB,用 5 个点的奖励换掉 80.1% 的 token 成本。六个基准、从问答到序列决策,同一个冻结主干跑全程。
这张价目表真正改变的是问题本身。过去大家争「模型该想多深」,这篇把问题改写成了「这次思考值多少钱」——价格可以随场景浮动,价值可以提前预估,答案可以不誊写。省下来的不是思考的行数,是把思考写成字的成本。
信源:The Value of Thinking: Learning When to Reason in Hybrid Decision Models(arXiv 2611.16961),归属 Huawei Noah's Ark Lab(Zhengxu Yu、Haitham Ammar、Weilin Luo)+University of Liverpool(Ke Xu、Meng Fang)+University College London(Jun Wang)——素材未提供归属,本号补充。数字均逐字核过:zero-or-T 范式、自路由块「a few hundred kilobytes...costs no forward pass and no token」、四联合结果分布、JevBench 0.857 对 0.851(+0.7%)、中位延迟 0.179s 对 0.652s(-72.5%,「快 3.6 倍」为该比值)、AGIEval 27B「trades 1.5 accuracy points for 37% fewer thinking tokens」、MiniWoB 5 点奖励换 80%(80.1%)token 成本、CDPO 回合级奖励、KV 缓存复用免重复 prefill。素材为机构式解读稿,本轮数字全部核实无误、零膨胀;「原创首发范式」等宣传语未采用。