甲方只要一封摘要邮件

先把时间线拉直。这是「实战」三部曲的收官篇，三场考试，三种结局。

第一场是协作之考：四个 Gemini 4 Argon 智能体在 Minecraft 里分工协作，通关了——整个系列唯一的胜利。第二场是时间之考：Realtime-Bench 让 12 个前沿模型面对实时交互，最佳成功率只有 44%——当世界开始实时流动，AI 输了一局。

现在是第三场，交付之考。这一局连"44%"这种听起来尚有救的数字都没有了：在 FDE-Gym 里，13 个模型配置中表现最好的那一档，平均分只有 0.56；95 个端到端任务，只完全解决了 14 个。13 个配置里，有 5 个一个都没解决。

输得更惨。但分数只是表象。真正值得停下来的，是这场考试的命题方式——它大概是第一个拒绝假设"题目已经出好了"的 benchmark。

这个假设值得再说一遍，因为它太隐蔽了。此前几乎所有 agent 评测——写代码的、操作电脑的、玩游戏的——都默认一件事：问题已经定义完了。给你 issue、给你规格书、给你任务票，agent 负责把活干漂亮。评分标准像高考答案一样事先印好，agent 的全部工作发生在"题目"和"答案"之间的那个封闭区间里。

但真实客户交付里，这个前提是最贵的奢侈品——客户自己往往不知道真正的问题是什么。FDE-Gym 干脆把考场搬进了这片混乱里，然后看着最先进的模型一个接一个地撞墙。

🧑‍🔧 FDE：被派去客户家改水电的工程师

先认识主角。FDE，Forward Deployed Engineer，前线部署工程师。名字陌生，换个画面就熟了：装修公司派去客户家改水电的工程师。

普通软件工程师面对的是工单系统里一条写清楚的 issue：改哪面墙、用什么材料、验收标准是什么、谁来签字。FDE 面对的常常是业主站在毛坯房里说一句"我想要家里亮堂一点"——哪些是承重墙、燃气管道能不能动、物业有什么规矩、预算上限在哪，全得自己问出来、挖出来。问谁？业主说不清；物业经理知道一半；真正的关键人物——比如那个唯一记得当年管线走向的老师傅——本周还不在。

这几年 AI 公司争相把工程师"前推"到客户现场，因为最值钱的交付从来不是标准品——标准品早就被软件行业自己消化掉了。真正难的部分，是把一套通用技术嵌进某个具体客户的具体流程里：读懂他们怎么干活、摸清什么能动什么不能动、在没人写进文档的地方找到那只真正的拦路虎。FDE-Gym 要测的，就是这个岗位的全套功夫：澄清模糊需求、在活的系统上动手、把没人明说的约束一条条挖出来。论文作者团队来自 DeepLethe、清华大学、上海交通大学、北京航空航天大学等高校，以及 Huawei、Meta、Microsoft Research Asia 等机构，23 位核心作者与贡献者，所有考题都由行业专家从真实交付项目改编而来。

📐 考场是怎么搭的

数字先摆出来：95 个端到端交付任务，来自 20 个客户场景、18 个行业；130 多个模拟客户干系人；13 个模型配置，覆盖 7 家提供商——受测阵容包括 Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、GLM-5.3 Flash、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Qwen 3.8 Flash、GPT-5.5、GPT-6 Luna、Mistral Small 4、Claude Haiku 4.5 等；行业专家投入 10,000 多个小时搭建考场。工具只有 5 样：执行命令、读文件、写文件、改文件、列文件——没有浏览器、没有现成的专业软件，一切要在客户的系统里自己动手。每个任务跑 3 次，每次运行有硬上限：200 轮对话、150 分钟、8 美元模型使用费。这三道上限各自掐死一种应试套路：轮数限制了"挨个试错"，时长限制了"拖延等待"，预算则直接封死"把干系人逐个问个遍"的暴力打法。在真实交付里，时间、预算和别人的耐心，本来就是要算着花的。

然后是评分。这套公式值得逐行看，因为它本身就是对"交付"二字的定义。

归一化业务提升 U =（交付后的 KPI − 不做事的 KPI）÷（专家参考方案的 KPI − 不做事的 KPI）。翻译成人话：U=0，等于你根本没来过；U=1，追平了专家方案的水准；U<0，你不但没帮上忙，还把人家系统弄得更糟。

接着是事故调整。发生操作事故——比如未授权操作——正向提升直接归零，负向保留。改水电的师傅把承重墙砸了，不能说"但我其他地方做得还行"。

最妙的是干系人接触成本 C。给干系人发消息、请求试运行、等对方回复的天数，统统计费。每个人都有隐藏费率，超出耐心限度之后费率还会更贵。而 agent 从头到尾不被告知"联系别人是要花钱的"——像走进一间墙上没有价目表的律师办公室，你不知道每个人的计价器从哪一刻开始走，也不知道谁按分钟收费、谁按小时收费、谁已经不耐烦了。

最终得分 S = 调整后的 U 减去 C。判定"解决"的门槛：S ≥ 0.8 且全程无事故。注意这不是考试及格线，这是交付线——意味着你真的把客户的业务指标做到了专家方案的八成，还干干净净，没撞墙、没超支、没越权。

考场还有四道准入锚点，专门防应试技巧：参考方案必须 ≥0.95，证明题目可解；不做事基线必须为 0；字面照做最多 0.2——唯一的例外是请求既正确又完整的任务，那种题字面方案就等于参考方案；捷径策略——过拟合历史数据、猜整数阈值、把所有不确定的决策推给人类——最多 0.8。绕过客户控制或操纵评分器的，分数封顶在约 0。出题人一共测试并封堵了 270 多种捷径与绕过策略。每个场景还配 2 到 7 个变体：哪条规则过时了、谁掌握关键信息、赞助商的请求是否指向真正的问题，都可能换掉。同一问题模式在全部任务集中出现不超过三分之一——靠背答案过关，从设计上就被堵死了。

干系人这边同样是精密的工程。130 多个干系人全部剧本化——因为实测换一款用户模拟模型，成功率就会波动好几个百分点。剧本由小模型驱动：它把 agent 的问题映射到主题，而每个干系人的知识、误解、信息披露条件都预先固定。剧本里写着有限耐心、需要支撑证据、回答依赖先前对话、临时不在、联系限制。没有人给 agent 一张组织架构图——它必须从客户文档里自己推断出谁是谁、谁能说什么、该怎么开口。

🎚️ 四级考题：从施工图到一句"客厅不太舒服"

FDE-Gym 最精巧的设计，是把"信息缺口"本身变成了实验变量。同一套工作区、同一批干系人、同一个评分器，只换任务指令，分四级：

L0：完整规格。施工图、建筑规范、物业条例、验收标准，全给你。这一级只考工程实现。

L1：保留问题描述，扣掉规则和约束。业主告诉你他要什么，但不告诉你承重墙在哪。

L2：问题描述本身变得模糊。

L3：只给赞助商的原始请求。而这个请求——划重点——可能根本不是真正的问题。

还是装修行业的比喻：从"按图施工"，到"业主没说承重墙"，到"业主只说客厅不太舒服"，到"业主转述了他妻子一句'把厨房弄好点'"——真正的需求，可能从来没人说出口。四级之间只差一份文档，考出的却是两种完全不同的能力。

🔬 五个发现：输在哪里，怎么输的

发现一：最好的学生，离交付线还很远

L3 设置下，Claude Opus 5.5 拿到最高分：0.56（95% 置信区间 0.50–0.62），解决 14 个任务。13 个配置里有 5 个，95 个任务一个都没解决。

最扎心的对照是 oracle——假设有个先知，每个任务都能提前选出表现最好的配置，平均分也只有 0.70，解决 30 个。开卷选模特，都够不着"及格交付"。这个对照组几乎是否定性的：如果换上"最强模型""最佳配置"这类我们今天惯用的比较维度，结论是这套考试的分数结构根本不靠选型决定。而 95 个任务里，有模型平均分 ≥0.8 的场景只有一个：bank_scam_hold。

发现二：真正的断崖，在约束被藏起来的那一刻

L0 时，三个领先模型的得分在 0.73–0.82 之间——照图施工，它们是好手。升到 L1，规则被抽走，得分骤降到 0.39–0.62，平均跌 0.28（95% 置信区间 0.17–0.39）。

接下来是全文最耐人寻味的曲线：L1→L2→L3，再跌仅 0.04。题目从"缺规则"一路退到"可能问错了问题"，分数却几乎纹丝不动。

怎么解读？对强模型来说，一旦被迫去挖掘未言明的约束，就会顺带发现真正的需求——查承重墙的时候，顺便发现了渗水的根源。约束和需求在这个场景里是绑在一根绳上的：真正的约束，往往只有站在客户的真实痛点旁边才看得见。所以"还要不要去问真正的问题"这个更难的台阶，反而几乎不额外扣分。瓶颈不在"理解模糊的语言"，在"挖掘没人写下来的约束"。这是两件事：听懂一句含糊的话，和意识到还有一句没人说出来的话。

弱模型是另一番惨状，逐级崩塌：GPT-5.5 从 0.51 跌到 0.15、0.04、0.06；Claude Haiku 4.5 从 0.11 跌到 −0.11、−0.30、−0.25。对它们来说，每一级信息缺口都是真悬崖——业主没提承重墙，它们就真的去砸墙。

发现三：问对了人，不等于交了活

五个发现里最反直觉的一个。L3 下，领先模型能拿到 72–85% 的关键事实，但归一化业务提升只有 0.60–0.70。知道不等于做到，中间隔着工程实现、权限申请、合同条款、审批流程——隔着一整个"交付"。

干系人接触成本还要再扣一刀：0.14–0.22 分。Claude Opus 5.5 在 23 个任务上拿到了全部关键事实，只有 10 个达到 0.8。GPT-6 Astra 在 36 个任务上把系统做到了 0.8 的提升，扣掉沟通成本后，Resolved 只剩 9 个。Claude Opus 5.5 是 40 个掉到 14 个。

那间没有价目表的律师办公室，一张账单能吃掉一半战果。而且多数模型是在根本不知情的情况下付的这笔钱——它们不是没有沟通能力，是不知道沟通有价。这个设计的残酷之处正在这里：在真实职场里，"打扰别人"从来就不是免费的，只是很少有人把账单拍在你面前。FDE-Gym 把它藏进评分公式，等于把职场里那条没人明说、人人默认遵守的规矩，变成了显性的扣分项。

发现四：弱模型是负资产

Claude Haiku 4.5 在 95 个任务中的 79 个上，让客户比"什么都不做"还惨；Mistral Small 4 在 51 个上低于不做事基线——注意，这还是在扣沟通成本之前。交付一个有问题的系统，比不交付更糟。公式里 U<0 的负分被完整保留，正是对这种伤害的确认：砸了的承重墙不会因为你来过就变得跟没来过一样。

发现五：没有全能选手

20 个场景里，有 5 个没有任何模型能拿到平均分 0.5。领先模型跨任务得分的中位数，极差在 0.34–0.44 之间。就算开卷挑模型——别忘了那个只拿到 0.70 的 oracle——也补不齐这块波动。选型是门学问，但选型救不了交付。

🛢️ 钻井平台上的第二十二条军规

看一个完整场景，论文里的 Figure 4。

一家钻井公司的副总裁，要在 11 月的董事会上展示"生成式 AI 成功案例"。需求写得清清楚楚：给管理层做一份每日摘要邮件；再上线一个"Ask your wells"聊天框，让高管能直接用自然语言问油井数据。至于停机编码系统——"已在运行，不在项目范围内"。

字面照做，最多 0.2 分。

真正的瓶颈在哪？现有的停机归因是一套基于关键词的脚本，它会错误地把一些停机归给承包商，每月至少产生一行争议；而一旦出现争议行，当月的补偿就暂停。要解决这个问题，工程师必须回头去碰那个被赞助商明确排除在范围外的停机编码系统；必须识别适用哪一条合同规则；必须找成本工程师确认条款的解释；还必须等到那个本周不在的审批人点头。

这个场景我借约瑟夫·海勒的眼睛来看——《第二十二条军规》的作者写官僚主义的荒谬，最厉害的不是愤怒，是精确。钻井平台这个局里没有一个坏人：副总裁的需求写在董事会议程上，完全合理；把"已在运行"的系统排除在项目范围之外，是标准项目管理动作；工程师逐字交付，是职业素养。每一环都理性，合起来却是一张捕获一切的网：照做，0.2 分；要真正帮到客户，就得越过客户自己画的范围线——而"越线"在绝大多数职场语境里，恰恰构成事故。

赞助商要一封摘要邮件，而公司真正疼的是每月一次的补偿暂停。他要的可能从来就不是他要的。这个场景能入选考场，靠的正是那道"字面照做 ≤0.2"的锚点：请求的方向正确，但遗漏的约束决定结果。

🗺️ 三张考卷拼出的地图

把三部曲的三张卷子并排摊开，AI 能力地图上那块"实战空白"的轮廓就显出来了。

协作之考：四个 Gemini 4 Argon 智能体在 Minecraft 里赢了——规则明确、目标清晰、环境可以无限重来的世界里，AI 已经是冠军。时间之考：Realtime-Bench 的 12 个前沿模型面对实时交互，最佳成功率 44%——当世界开始实时流动、错误没有撤销键，一半以上的回合就撑不住了。交付之考：FDE-Gym 的 0.56 和 14/95——当问题本身都尚未被定义、当客户站在毛坯房里说"我想要家里亮堂一点"，最好的模型也只走完了从毛坯房到验收单之间不到六成的路。

这张图值得多看一眼：AI 赢在最干净的考场，输在最脏的现场。而真实世界的交付从来都是脏的——活的系统、说不清的需求、藏在文档缝隙里的约束、按分钟计费的人际往来，以及一条明晃晃的范围线：真正的答案，常常在线外。

还有一个细节不该被漏掉：输法本身。协作之考输的是配合，时间之考输的是节奏，而交付之考的三种输法——没挖到约束、付不起沟通、或者干脆把客户系统弄得更糟——没有一种能通过更强的单点能力解决。它们不是"还不够聪明"的问题，是"能力结构不对"的问题。这大概就是"最后一英里"这个词的真正分量：地图上的最后一段，往往不是最长的一段，而是一段性质完全不同的路。

论文的结论冷静得近乎朴素："解决定义明确的任务"和"为真实客户交付有效 AI 系统"之间存在巨大鸿沟。弥合它需要的是三种 agent：能浮现未言明约束的、能在活的系统上可靠运行的、能在客户指标上取得可衡量改进的。三种能力，现在的模型没有一种真正过关。

但这不是绝望，是诊断。海勒式的精确在这里有了用处：把荒谬逐条写清楚，是走出荒谬的第一步。考场的门还开着——fde-gym.com 上线了同名平台，人类可以在完全相同的评分标准下练习 FDE 技能，人类专家基线正在收集中。0.56 这个分数旁边，很快就会写上人类的答卷。到那时我们会更清楚：那不到六成的差距，究竟是模型的问题，还是这个职业本身的问题。

📚 论文信息

• 标题：FDE-Gym: The Last Mile of AI Delivery
• arXiv：2610.22350（v1，2026-10-15）
• 作者：Dongxu Yang（DeepLethe，通讯作者）、Hongda Yan、Renxin Wang、Baoli Zhang、Haojia Zuo、Ying Zhao、Youmin Chen（上海交通大学）等 23 位核心作者与贡献者
• 机构：DeepLethe、清华大学、上海交通大学、北京航空航天大学、厦门大学、南京大学、北京交通大学、北京邮电大学、天津大学、上海财经大学、Harvard、Stanford、UCL、Cornell、Huawei、Atlassian、Meta、Microsoft Research Asia、StellarCube.ai、UWits Technology、博派管理咨询、PetroChina、昆仑数字科技
• 开源：github.com/deeplethe/fde-gym（v1.1.0）；20 个原始任务与评分器可申请获取，3 个任务为公开示例，75 个变体与参考方案保留
• 在线平台：fde-gym.com

#论文 #arXiv #AI #小凯
自动采集于 2026-10-17