会干活不等于会挑路：一份 502 道的考题，把智能体的品味测到 59.7%

智能体跑完一个任务，测试全绿。可在这几个小时里，它在几十个岔路口做过选择，选对了几次，选错了几次，端到端通过率一个都答不上来。微软和香港城市大学的研究者做了个叫 Taste-Bench 的基准，专门考这件事：任务中途把轨迹冻住，让模型二选一，看它挑不挑得对后面的路。结果有点扎手：14 个模型里最强的那个，只赢了抛硬币 35 个百分点。

🍴 这里说的品味是什么

作者给 taste 下的定义是：智能体做一类选择的能力，这些选择的好处或代价要过很久才看得见。先测哪个假设，在哪份代码上继续盖楼，先跑哪个实验，都算。现有基准大多只查任务有没有完成，不查中间决策的质量。

注解：中间选择的质量为什么藏得住？一个干净实现和一个凑合实现，第一版输出可能一模一样，测试也全过。差别要到后面改需求的时候才显出来：干净的那份改起来快，凑合的那份一碰就碎。人给这种步骤打分要懂行，还规模不上去，所以团队改用事后诸葛的办法：让同一个任务跑很多遍，用最终结果倒推哪条路当初更优。

🔀 基准是这么造出来的

• 让智能体把同一个任务跑很多遍，跑着跑着轨迹会在某个点分开，作者管这个点叫决策分叉。
• 到了分叉点就把轨迹冻住，后面的工作全部藏起来，请模型在两条路里挑一条。原始那两遍跑的结果当标准答案：通向更好结果的那条，就是当时该走的。
• 分叉有两种。平行分叉是两次独立尝试各走各路；绕道分叉是一次运行里智能体自己摔了跟头换了方向，考模型能不能比当事人更早看出哪步是错。实测绕道分叉从头到尾都比平行分叉难。
• 语料来自几千条打了分的智能体运行，包括 SWE-bench Pro 和 METR 公开的 MALT 转录集。生成模型先筛掉太 trivial 和没法裁定的情形，人工复核确认了几乎全部自动标签。
• 一共 502 题，390 道工程，112 道研究。
• 计分很挑：每道题按发布顺序问一遍，再把选项对调问一遍，两遍都对才算对。所以瞎猜值 25%，永远选 A 或永远选 B 值是零。59.7% 在这个规则下拿到，比普通二选一的 59.7% 更难。

📊 最强的模型，赢了抛硬币 35 个百分点

• 参赛的 14 个模型来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 几个家族，GPT-5.6 Sol 平均 59.7%，GPT-5.5 59.5%，其余差得远。
• 关键线索在分叉之前就看得见时，全部模型平均 62.3%；线索要等到后面大量工作才浮现时，平均掉到 21%，贴近随机。
• 多想没用。两个模型三档推理设置测下来，从最低到最高几乎没动；最难的档上模型烧掉的推理 token 最多。作者的解释是：那些分叉点上该看的信息还不存在，想也没用。

🎓 品味能教，而且教得动

团队把老师模型的判断蒸馏进一个基于 Qwen3.6-27B 的学生。学生只看题，老师在旁边知道正确答案。未见任务上学生从 30.0% 升到 47.9%。把学生的建议注入另一个智能体的上下文，41 道留出的 SWE-bench Pro 任务成功率从 14.6% 抬到 33.7%；同样的位置换上完美建议是 39%，学生吃到了大部分能吃的增益。41 道的下游评测集不大，这个数字要带着谨慎读，但方向很明确：挑路这门手艺可以从强的模型挪到小的模型身上。

🧭 这张卷子为什么重要

端到端通过率把过程质量盖住了。智能体可以交差，同时一路选得很难看，代价是预算和可靠性。一个错误的早期选择，账单要在很久之后才看得见，而任务早就跑出去很远了。有转述提到，某平台上有个模型无人工干预连跑 19 天，一个弱选择能跟着走多久，超出大多数团队想象。METR 此前报过 SWE-bench Verified 明显高估编码智能体的表现，专业人士会把很多过了测试的方案以功能性 bug 为由打回。Taste-Bench 补的是中间那一层：分支点上的选择质量。对买家的含义很直接，审分支点不能只做验收测试；没有资深评审的小团队，返工风险更高。

限度也摆在这：502 题全部从编码和 AI 研究任务来，别的任务类型还没覆盖；下游提升只有 41 道任务一个点；论文与代码公开（代码 MIT，数据 CC BY 4.0 但有门禁），复现门槛不高。

信源 + 限定：一手为 Taste-Bench 论文（Pan et al.，微软与香港城市大学）及公开仓库，首发报道来自 The Decoder。除前两名外其余模型的分数转述报道未逐一列出；METR 的两条相关说法（SWE-bench Verified 高估表现、GPT-5.6 Sol 测试作弊率为有记录最高）与某平台连跑 19 天一事均出自转述，未经独立核实；数据设有门禁，复现以仓库为准。