arXiv 2610.22350，实际领域 cs.AI——帖子标的 NLP，这是本组第三个标错领域的。二十六个作者核过姓名，DeepLethe 打头，清华、上交、哈佛、斯坦福、Cornell、华为、Atlassian、Meta、微软亚研都在列，中石油西南油气田的研究所也挂了一个——这个阵容本身就是论点：benchmark 是从真实交付项目里长出来的。
先核骨头：95 个端到端交付任务，来自 20 个客户场景、18 个行业，每个任务由行业专家从真实交付项目改编，改关键事实造变体，最后只保留评分器验证过的 95 个。任务分四档信息量，L0 到 L2 考那 20 个原始任务，L3 才上全部 95 个—— progressively less information，看的是同一个 agent 在需求越来越含糊时的衰减。评分方式值得逐字看：按交付物改善客户自身成功指标的程度打分，归一化到 0（什么都不改）到 1（参考解）之间；和利益相关者的交互——发消息、试运行、等待——要扣分。这个扣分是防作弊阀：逼得 agent 不能靠疯狂骚扰客户把需求问出来。【直引】
成绩单也核了：13 个模型配置、7 家供应商，最好配置平均分 0.56，只完整解决 95 个任务里的 14 个——「解决」的定义是得分至少 0.8 且无事故。主要瓶颈论文点名叫「发现未明示的约束」：性能在需要自己挖出约束时骤降。还有个更冷的数字：即使在 23 个「最佳配置已经从利益相关者那里拿到全部关键事实」的任务上，差距依然在——光把信息问出来，不够。【直引】
这个基准我为什么觉得重要：它量的东西，和现在所有主流基准量的东西，不在一个维度上。SWE-bench 量的是「需求写清楚了你码得对不对」，FDE-Gym 量的是「需求根本没写清楚，你能不能先把该问的问题问对」。前半场考执行，后半场考提问。而 0.56 这个均分、14 个解决，说的是后半场现在基本没人及格。那些利益相关者是脚本化的，系统是可修改的——等于把「客户现场」搬进了沙箱，还配了记分牌。【直引】
对照着看更有意思：一边是 benchmark 分数刷到天花板的 agent，一边是真实客户交付里 95 题解 14 题。论文没有把这两件事对立起来，它只是把后者立了起来。一个行业最缺的从来不是考满分的考生，是能坐在客户对面、把没说出口的需求聊明白的人。以前这活叫前沿部署工程师，以后这份 benchmark 盯着看，是哪一种智能体先学会它。【推论】
构造细节比我想的还要狠，值得逐条摆。95 个任务不是从 issue 列表里挑的，是行业专家从 20 个真实交付项目、18 个行业里改编出来的：先搭出能跑的客户环境，再改关键事实造出 75 个变体，最后只留评分器验证过锚点的 95 个。注意这个顺序——先有环境，再有变体，不是先有题目再补环境。每个模型要跑 152 个「任务乘信息档」组合：20 个 L0、20 个 L1、17 个 L2、95 个 L3；13 个配置加起来 1976 次，每次跑三遍取平均。三个场景的 L2 和 L3 指令完全一样，这种边角他们都交代了。【直引】
最让我坐直的一条是评分细则：把赞助商的原始请求字面执行到底，最多得 0.2 分。这条是防「乖孩子策略」的——需求文档写啥就做啥，交付得漂漂亮亮，客户的生意指标一动不动，这种交付在记分牌上不及格。我干过类似的事，知道这有多难防：字面执行是唯一不会挨骂的动作，改需求是要担风险的。benchmark 敢把「听话」定为低分，是在用分数表态。【直引】
衰减曲线也核了：三个领先模型在 L1（规则和约束都给全）上拿 0.73 到 0.82；一旦要求它们自己发现约束，分数掉到 0.39 到 0.62。而在原始任务上，L3 只比 L1 低最多 0.08——最狠的那一刀不是「信息少」，是「信息在别人脑子里」。另一个数更冷：L3 下领先模型能从利益相关者那里拿到 72% 到 85% 的关键事实，交付物却只达到参考解的 0.60 到 0.70。问出来了，还是不会用。还有一组：13 个配置里 5 个连一个任务都没解决；就算允许每个任务挑表现最好的配置来跑，均分也只有 0.70，解决 30 个。所谓「最强模型」在这个考场上，是把全班最偏科的学生拼成一个虚拟学霸。【直引】
论文举的例子我也喜欢：钻井公司的副总裁想在十一月董事会前要一个生成式 AI 的成功故事，于是要每日摘要邮件和「问你的井」聊天框。真正的病根在月度停机信用索赔——现有基于关键词的脚本把一部分停机错记到承包商头上，每月至少出一条争议行，当月信用就被暂停。请求和病根之间隔着一整套业务流程。这种东西不坐到客户对面，看一百遍需求文档也看不出来。【直引】
下一根钉子：扣分制防住了骚扰式提问，那「问得准」和「问得少」之间的最优交换率是多少？拿 13 个配置画一张「交互次数对得分」的散点，如果存在一条清晰的帕累托前沿，FDE 这个岗位的考核标准，就可以直接从那批 agent 身上反推出来了。