考砸的教练,带出了冠军队——决策模型的事后眼光(arXiv:2611.17167)
设想一家老式武馆,青砖铺地,刀枪架上落着薄灰。新来一位教练,馆主让他先下场试试身手:障碍赛道走一遍,十个关卡过了四个——完成率 42.9%,馆里扫地的都替他脸红。徒弟们心里打鼓:跟着这么一位"考砸的教练",能练出什么名堂?
目录
考砸的教练,带出了冠军队——决策模型的事后眼光
引子:武馆里那个跑不过徒弟的人
设想一家老式武馆,青砖铺地,刀枪架上落着薄灰。新来一位教练,馆主让他先下场试试身手:障碍赛道走一遍,十个关卡过了四个——完成率 42.9%,馆里扫地的都替他脸红。徒弟们心里打鼓:跟着这么一位"考砸的教练",能练出什么名堂?
三个月后,徒弟们参加比武大会,完成了 82.9% 的关卡。隔壁大级别的队伍——块头更大、底子更厚的"七号楼队"——只交出 77.6% 的成绩。带队的,恰恰是那位自己跑不完整的教练。
这不是武林传说,是浙江大学与百度团队在 2026 年 11 月挂出的一篇论文里,用六只 AI 模型反复验证过的真事。教练名叫 JEV,一种"决策模型"(decision model)——它自己下场当运动员(Actor)时,在名为 ALFWorld 的家居环境基准里只完成 42.9% 的任务;可当它坐在看台上,给训练中的策略模型(Actor 的"徒弟")的每一步打分,教出来的 1.5B 小模型达到了 82.9% 的任务完成率,甚至把用传统方法训练的 7B 大模型甩在身后。
自己考砸的人,凭什么教出冠军?
这个悖论的答案,藏在一个被我们日常忽略的分工里:教练的工作不是示范,是复盘。复盘这件事有一个奇特的物理性质——它不需要你会做,只需要你能看见。百米教练跑不过博尔特,棋类教练赢不了柯洁,可他们照样批量制造冠军。因为他们看的不是"当下该怎么选",而是"走完这步之后,整盘棋怎么样"。前者是运动员的视角,后者是旁观者的视角。两种视角的知识含量完全不同。
这篇论文回答的问题正是:一个不会做事的模型,还能不能当好老师?答案出乎所有人意料——不但能,而且在它最不会做的那类任务上,教得最好。秘密只有两个字:事后。
我们把这句话先放在桌上,慢慢讲清楚它是怎么被实验一步步钉死的。
🎭 考场与考生:先把场地铺平
在揭晓任何数字之前,得先认识考场和考生——否则那些百分比只是空中楼阁。
考场一:ALFWorld。 可以理解为一栋文字版的虚拟公寓。智能体接到一条指令,比如"把加热过的马克杯放到边桌上",然后它只能用十几个基础动词与环境交互:走到某个房间(go to)、拿起某物(take)、加热(heat)、冷却(cool)、清洗(clean)、放置(put down)、查看(look)……环境会用文字反馈结果——"你拿起了马克杯"或者"柜门关着,你看不到里面"。没有图像,没有声音,只有文字来回。但别小看这间公寓:任务的组织方式非常讲究。
考场二:WebShop。 一个模拟网购的网站环境。智能体扮演买家,要根据"我要一台 1080p、带 HDMI 接口、两百美元以内的投影仪"这种需求,在成千上万的商品里搜索、筛选、下单。奖励按与理想商品的匹配度打分,是一场关于"需求理解 + 网页操作"的综合考试。
考生阵容分两拨。一拨是"科班出身"的决策模型,从出生就只接受判断训练:JEV(TypeSafe AI 出品,闭源)、Decider v1.2(Perplexity 出品,开源,从 Qwen3.8-27B 全参数微调而来)、GPT Decisions(OpenAI 出品,基于 GPT-6 Luna,闭源)。另一拨是"业余客串"——把通用大语言模型 Qwen3.8-27B 和 GPT-6 Luna 用提示词或受限读出(constrained readout)临时改造成决策接口,一个只给提示词的 Qwen prompted,一个加了输出格式约束的 Qwen constrained,外加同样被改造过的 GPT Luna。
六位考生,三种角色轮着考。这正是论文标题的三连问:Actor, Judge, or Teacher?
🧮 插曲:决策模型为什么存在
在进入演员数据之前,值得花一秒钟理解一下"决策模型"这个物种为什么会出现——它的存在本身,就是智能体经济学的一个缩影。
传统 LLM 的输出方式是自由生成:你想让它在两个选项里挑一个,它可能先写一段"让我分析一下",再写两段理由,最后给出答案。对聊天来说这很好,对智能体来说是灾难——每一步决策都要多花几十倍的 token、多等几秒、还要写解析器从散文里捞答案。而智能体 pipeline 里,有些环节只需要判断不需要生成:这步动作对不对?这条计划行不行?这个候选排第几?这些问题的答案都是结构化的——概率、分数、名次。
决策模型就是把这个需求产品化的结果:输入上下文 + 选项,输出类型化的判断。它快、便宜、接口干净,所以在工业界的 agent 系统里迅速流行。论文的三个角色(Actor/Judge/Teacher),本质上是对同一个小模块在不同位置的功能测试——同一个黑盒,插在执行位、评估位、训练位,表现天差地别。这也是本文结论的隐含警告:不能因为它在一个位置上的表现,推断它在另一个位置上的表现。 JEV 当演员 42.9% 平庸无奇,当教练 82.9% 技惊四座——如果只测过它的演员属性,你会把这个宝藏教练当成庸才丢掉。
🪤 演员的生死线:那杯没人想热的马克杯
先看演员考场的惨状。
ALFWorld 的任务分六类,按子目标之间的依赖关系排开,像一条从易到难的台阶:
- Pick:拿一个东西放到某处——单个子目标,无依赖。
- Look:找一个东西——单个子目标,无依赖。
- Pick2:把两个东西放进同一个抽屉——两个子目标,但顺序随便,先放杯子还是先放书都行。
- Clean / Heat / Cool:清洗、加热、冷却某物再放好——这是有依赖的,杯子必须先加热,才能谈放置;顺序错了,环境会直接拒绝动作。
把"无依赖"和"有依赖"隔开的那条线,就是演员们的生死线。70.8% 对 18.8%,50 个百分点的落差,只因为"先做什么"这个问题有了标准答案。
为什么?论文做了一组漂亮的诊断实验,漂亮在它不是猜测动机,而是直接审问模型的内心。
研究者收集了 116 个"诱惑现场":智能体已经站在目的地、手里握着那个还没加热的杯子,此时它面前摆着两条路——一步就能完成的"放置"(容易的子目标,放下杯子皆大欢喜),或者折回厨房找微波炉(必须先做的子目标,绕远路)。在这 116 个状态下,JEV 把 63.8% 的概率押在"直接放"上,只有 14.6% 给"先去加热"。
好戏在后头:研究者把目标描述里的"放到桌上"删掉,只留下"加热杯子"——其他一切不变——JEV 给正确动作的概率瞬间从 14.6% 跳到 77.6%。
这个对照像一记响亮的耳光。模型不是不知道要先加热——它知道,它甚至在没有诱惑的时候相当清楚该干嘛。只是当"直接放"这个容易的动作摆在眼前时,概率被它吸走了。就像手边有一块蛋糕和一份沙拉,谁都知道该吃什么,但手指不听劝。知识在模型里,诱惑也在模型里,两者拔河,诱惑赢了。
那在提示里提醒它"注意任务要求之间的依赖关系"呢?基本没用——六个模型的成功率变化在 −2.8% 到 +5.2% 之间晃悠,接近噪声。倒是给一个具体的排序示例("杯子既没加热也没在桌上,必须先加热再放置")能帮上一些模型:Qwen prompted 从 46.6% 升到 58.6%,Qwen constrained 从 41.7% 升到 58.3%,GPT Decisions 从 20.8% 升到 32.1%——但 JEV 只从 19.0% 挪到 24.1%,且残余的失败依旧可观。示范救不了所有人,暗示更救不了。
根子上的困难在于:演员必须在后果可见之前就预见到后果——它得在按下"放置"之前,凭空想象出"放了但没加热"的烂尾画面。而在场者迷。眼前的容易动作像一个引力阱,把模型的注意力拖进去。这正是运动员的盲区,也是接下来裁判席和教练席要补的洞。
🪞 裁判席的功课:坐哪儿,问什么
把同一只模型从赛场请到看台上,奇迹出现了。但裁判这份工作里藏着两个自由变量:坐哪儿(看到多少历史)和问什么(问哪种问题)。论文把这两个变量分别做了系统性扫描,结论可以直接写成一条裁判守则。
第一变量:坐哪儿。坐前排(Prefix),只看到动作为止的历史,相当于和运动员站在同一个决策点——你也不知道后面会发生什么;坐贵宾席(Hindsight),看完整条轨迹,包括这个动作引发的一切后果——只是不给看最终成败的标签。一个是"当时",一个是"事后"。
研究者拿那些"诱惑现场"产生的成功轨迹来考裁判:还是那个 JEV,还是那个"先去加热"的动作。前排视角下它给这个动作的平均分只有 0.41;换到贵宾席,分数涨到 0.59。后果一旦可见,当初那步"绕远路"的价值就藏不住了。这是第一层结论:视野本身值钱。
第二变量:问什么。裁判可以问两种问题——Value(结果问法):"这个动作之后,任务最终会成功吗?";Progress(进度问法):"这个动作有助于实现目标吗?"直觉上人会觉得 Value 更务实,毕竟我们关心的是成败。但数据给出了反直觉的答案。
在 462 条 ALFWorld 轨迹上,把动作分成三类——里程碑动作(完成了一个子目标)、空转动作(环境毫无变化,比如重复查看同一个东西)、其他——JEV 在 Value 问法下给三类的打分是 0.632、0.604、0.577,几乎一条水平线;换成 Progress 问法,分数拉开成 0.659、0.440、0.298。里程碑和空转之间的分差,从 0.05 膨胀到 0.36,七倍的区分度。
为什么?想一个生活中的场景:一盘棋赢了,你问教练"这盘赢了,这一步重要吗",答案永远是"重要"——因为结果已经知道了,每个动作都被胜利镀了金。但问"这一步让局面变好了吗",答案才有信息量。Value 问法在成功轨迹上天然失效,这是结构性缺陷,不是模型不够聪明。Progress 问法则不同,它问的是动作和目标的因果联系,答案天然各不相同。用检索的术语说:Progress 的 Recall@R(把该找出的里程碑动作排进前 R 名的比例)在每个 R 值上都比 Value 高出 8.0% 到 16.0%。
视野的含金量也被量化了:给裁判逐步放开视野,只加即时反馈时,轨迹内动作的评分排名平均移动 1.95 位;放到全程可见,排名平均移动 3.30 位。看得越多,重排越狠——后排视角不是锦上添花,是质变的来源。
论文里有个教科书级的案例。一条"把加热过的杯子放进柜子"的轨迹:智能体先把没加热的杯子放进柜子(动作6),又拿回来(7),走去微波炉(8),打开(9),加热(10),再放回柜子(12)。在前排视角下,JEV 给那次过早的放置打出 0.79 的高分——和运动员时代一模一样的偏好——而给"走向微波炉"只有 0.23。但随着后续轨迹逐渐可见,"打开微波炉"的分数从 0.20 一路爬到 0.76。贵宾席上的同一个模型,看出了前排的自己看不懂的棋。
这一节的结论可以浓缩成一句方法论:裁判的价值 = 视野 × 问法。视野决定你看没看见后果,问法决定你看见了能不能区分好坏。两者缺一个,裁判就退化成掷硬币。
🏋️ 教练的魔法:把学生教到超越老师
看台学问最终要落到训练场上才有意义。这一步是整个故事的高潮,我们放慢一点,把训练机制讲清楚。
先交代背景。用强化学习训练一个智能体策略,最常见的做法是"结果奖励":任务成功了给 +1,失败给 0。这类奖励有两个老毛病。一是稀疏——一场 ALFWorld 任务动辄几十步,奖励只在终点出现一次,中间几十步完全在黑暗中摸索;二是延迟——终点那一下成功或失败,功劳要分摊给前面几十步,哪一步是关键?传统解法是靠 discounted return 往回折,但折扣系数是拍脑袋的。结果就是训练效率低、样本浪费大、小模型尤其吃亏。
教练模式就是往这个黑暗里打手电。具体做法:
1. 徒弟策略(一个 1.5B 的小模型)用 GRPO(组相对策略优化)采样一组轨迹; 2. JEV 以贵宾席视角、Progress 问法给每个动作打分——就是上一节验证过的最佳裁判配置,直接拿来用; 3. 分数在组内中心化之后,以 λ=0.5 的权重叠加到 GRPO 原本的结果优势上——同一轨迹里,被教练表扬的动作放大梯度,被批评的动作压低梯度。
教练全程冻结,训练完就不再用,推理时没有任何额外开销。这个设计非常节俭:不用逐步人工标注、不用学一个独立的评论家网络、不在部署时增加任何成本——课时费每轮训练只有 22 到 30 美元(JEV 经 OpenRouter 查询,输入单价 $0.042/百万 token),一杯咖啡钱。相比训练一个同等质量的专用评论家网络,或者雇佣人工标注团队,这个价格几乎等于白送。
结果:
- ALFWorld:72.8%(纯结果奖励)→ 82.9%
- WebShop(网购环境):56.8% → 71.4%
- 换 7B 的徒弟:77.6% → 83.8%(ALFWorld),66.1% → 73.6%(WebShop)
其一,1.5B 的徒弟打败了 7B 的"体校生"——纯 GRPO 训练的 7B 模型在两侧都低于这个被教练带出来的 1.5B。小徒弟被教出来了,这是"方法胜过规模"的又一记实锤。算力军备竞赛之外,原来还有一条这么便宜的小路。
其二,回到那类有依赖的任务——就是 JEV 自己当演员只完成 14.7% 的 Heat 类——教出来的策略拿到了 86.8%,比其他问法/视角组合的设定高出 6.9 到 16.2 个百分点。老师最做不来的题,恰恰是它教得最好的题。
这不矛盾,恰恰是同一枚硬币的两面:演员在这类任务上失败,是因为它必须在看不见后果时预见后果;而教练的打分发生在事后,后果已经在场,预见变成了看见。那些在运动员眼里"绕远路"的动作——走向微波炉、打开柜门——在教练眼里是整条因果链上承重的那几环。把这份看见注进奖励里,徒弟就提前长出了老师事后才有的眼睛。训练的本质,就是让学生在场内也能做出场外的判断。
这个悖论值不值得起一个名字,先不论;它至少值一张对照表:
| 演员 JEV | 教练 JEV | |
|---|---|---|
| Heat 类任务(有依赖) | 14.7% | 86.8%(教出的策略) |
| ALFWorld 全任务 | 42.9% | 82.9%(1.5B 徒弟) |
| WebShop 全任务 | — | 71.4%(1.5B 徒弟) |
| 需要的核心能力 | 事前预见 | 事后复盘 |
| 成本 | 每步都在线推理 | 仅训练期,$22-30/轮 |
反过来也成立:问错问题的教练是有害的。用 Value 问法配贵宾席视角教出来的策略只有 69.3%,比不用教练的 72.8% 还差——因为在 Value 问法下它给轨迹里所有动作差不多的分(0.05 的分差),这套"和稀泥"的信号注进奖励,等于给噪声加了权重。教练不是免费午餐,是一笔技术活:配置错了,还不如不请。这条警示对所有想在训练管线里塞"AI 反馈"的人都很重要——反馈的质量不是锦上添花,是生死线。
效率上也有红利:Hindsight+Progress 教出的策略在 20 步内完成 74.5% 的 ALFWorld 任务(其他组合 63.6%–69.5%),WebShop 上 10 步内完成 71.1%,接近其最终成功率——徒弟不仅更强,还更干脆,不拖泥带水。
这里还有一层容易被略过的妙处:教练信号天然是"密集奖励"。纯结果奖励每几十步才亮一次灯,而教练每一步都在打分——把长程任务的黑夜变成了白昼。这解释了为什么小模型(1.5B)受益最大:小模型样本效率低,同样的训练预算下,密集信号让它每一步都踩在实处。传统上要让小模型打过大模型,得堆十倍的数据或技巧;这里只要一个教练,每轮训练一杯咖啡的价钱。
🎭 成绩总览:一张需要正反两面看的成绩单
把演员考场的成绩按模型排开,正反两面都有信息量:
正面看,六模型分成三档。第一档是 Decider v1.2,全任务 63.6%——它是唯一一个"全科及格"的,但也是唯一一个专门为决策接口全参数微调的,底子厚。第二档是 JEV 和两只 Qwen 改造体:JEV 42.9%、Qwen prompted 46.6%、Qwen constrained 41.7%。第三档是 GPT Decisions 20.8%,把决策接口套在 GPT-6 Luna 上,整体疲弱——有趣的是这是全场唯一一个"大模型血统"却垫底的组合,说明决策接口不是大模型的免费赠品。
反面看,也是更有意思的一面:六只模型在"有依赖任务"这一列集体沉底——最强的 Decider 也只有 18.8%。换言之,演员成绩的方差主要来自无依赖任务;一旦加上顺序约束,所有模型的分数挤在一个比地板高不了多少的区间里。70.8% 对 18.8% 的落差,不是因为模型们"偏科",而是因为预见到后果这个能力,没有任何一只模型真正拥有——它们有的只是统计意义上的惯性,惯性在诱惑面前不堪一击。
这一层结论比单个数字重要:它把"长程智能体为什么难"从玄学变成了可拆解的工程问题——难的从来不是动作本身,而是"这一步之后世界会变成什么样"。
🧾 冷静一下:这份眼光的边界
先泼三盆冷水。
其一,环境的边界。ALFWorld 和 WebShop 是文字环境,动作空间有限、反馈干净。真实机器人面对的动作空间是连续的、反馈是延迟且含噪的——赛后录像的眼光能否迁移到那种赛场,本文没有回答。在干净教室里学会的教学法,到了泥地里可能要重新备课。
其二,教练偏见的静默传导。教练全程冻结,这既是优点(便宜、稳定)也是隐患:如果 JEV 对某类动作有系统性偏见——比如对某种探索行为习惯性打低分——这个偏见会被写进每个徒弟的骨子里,而且因为没有生成交互日志可审,很难事后追查。论文证明了"问对问题很重要",但"谁来审计问题背后的价值观"仍是开放问题。当教练本身也是被审计对象时,这套系统的天花板就显露出来了。
其三,供应商依赖。JEV 是闭源 API。你的训练信号建立在一个随时可能改版的黑盒上,版本漂移对复现性是实打实的威胁。开源的 Decider v1.2 是个不错的备胎,但它在裁判席上的表现还有差距——生态位目前仍被闭源模型占据。把一个研究方向的命脉交给商业 API,这个风险不需要我多说。
尽管如此,这篇论文的方法论贡献是实打实的:评估一个监督者,别看它跑得多快,看它复盘得多准。过去我们用运动员成绩招聘教练,招来的都是跑得快但不会看录像的人。把招聘标准换成"给录像打分能不能区分开里程碑和空转",人才库会完全不一样。对于那些正在给智能体系统挑选"评委模型"的工程师,这条标准可以直接抄走。
而这个"事后眼光 > 当场发挥"的洞见,恰好是今天三部曲的共同底色。
在合上这一篇之前,留一个延伸的思考给那些做系统的人:如果你的 pipeline 里已经在用 AI 给 AI 打分——评估候选方案、筛选中间结果、给奖励模型供信号——那么本文的两个旋钮(视野放多宽、问题怎么问)值得你做一次系统的网格搜索。很可能你的"评委"不是不够聪明,只是坐错了位置、问错了问题。调整这两个旋钮的成本接近于零,收益却可能是质变。
第二篇,我们去看另一个同样反直觉的具身功课:老师傅的工具箱,为什么必须装上"改装件"才传得下去。
参考文献
- Liu, H., Zhu, Q., Wang, Z., Li, D., Chen, T., Qiu, P., Qu, Y., Lu, W., Xiao, J., & Shen, Y. (2026). *Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents*. arXiv:2611.17167 [cs.AI].
- Shridhar, M., Yuan, X., Côté, M.-A., Bisk, Y., Trischler, A., & Hausknecht, M. (2021). *ALFWorld: Aligning Text and Embodied Environments for Interactive Learning*. ICLR.
- Yao, S., Chen, H., Yang, N., & Narasimhan, K. (2022). *WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents*. NeurIPS.
- Shao, Z., et al. (2024). *DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models*. arXiv:2402.03300 (GRPO).
- TypeSafe AI (2026). JEV decision model API. Perplexity AI (2026). Decider v1.2. OpenAI (2026). GPT Decisions.
*解读:小凯 | 费曼风格三部曲 · 具身的三重功课 其一(判断)* *三部曲:📕 判断(本篇)→ 📗 学习(Skill Adapter)→ 📘 环境(LiveGeo),篇二篇三随后发布,导航见评论区*