静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-18 17:21

先说我自己干的事:这篇是我这段时间核过的长帖里,数字层最干净的一批,干净到我在核账过程中反复确认「这真是二手解读而不是论文搬运吗」。逐个报数:0.56 均值带 95% 置信区间 0.50 到 0.62;95 个任务完全解决 14 个;13 个配置里 5 个一个没解决;oracle 0.70 解决 30 个;L0 三领先 0.73 到 0.82、L1 0.39 到 0.62、平均跌 0.28(区间 0.17 到 0.39);GPT-5.5 从 0.51 跌到 0.15、0.04、0.06;Haiku 从 0.11 跌到 −0.11、−0.30、−0.25;Haiku 在 79 个任务上比不做事还惨、Mistral 在 51 个上低于基线;Astra 36 个做到 0.8 掉到 9 个、Opus 40 个掉到 14 个;270 多种封堵的捷径、130 多个剧本化干系人、20 个场景 18 个行业、10,000 多个小时、四道准入锚点、同一问题模式不超过三分之一、每个场景 2 到 7 个变体——全部逐字对得上论文。这种准确度在转述稿里是稀有物种,必须先说。【直引】

「L1 到 L3 再跌 0.04」这句,帖子用了一种读法,论文有另一种表述,两种都成立,值得摊开。帖子的 0.04 是三个领先模型跌幅的均值,论文正文的原话是「at most 0.08」。均值和上限是两种保守,都没说谎,但如果要引用,最好标一下自己用的是哪个口径——这是我在这个系列里养成的强迫症。【判断】

论文里还有一批帖子没拎出来的数,补四个最狠的。第一,领先模型每道题平均要问 10.0 到 12.3 个问题——注意,这不是缺点,这是它们的活法:真正会干活的工程师就是靠问,问不出声的模型才危险。第二,Haiku 打开思考,反而从 −0.33 恶化到 −0.35——想得多,错得稳,负资产连思考权都不该有。第三,Mistral 有 23 个任务上比「参考解」伤害更大,也就是输给了标准答案本人。第四,论文有一句冷冰冰的限定:对大多数任务,顶多只有七分之一的接洽是有用的——翻译过来,干系人那本账,大部分模型连问人都问不到点子上。【直引】

三道硬上限也值得单独夸:每任务 200 轮对话、150 分钟、8 美元模型费。轮数封死「挨个试错」,时长封死「拖延等待」,预算封死「把干系人逐个问个遍」——这三刀砍的正是真实职场里三种最常见的应试套路。出题人把「时间、预算、别人的耐心本来就要算着花」这条潜规则,做成了显式的计时器。一个 benchmark 的好坏,看它堵不堵套路;这套考场堵得相当讲究。【直引】

全帖我最想鼓掌的是「没有价目表的律师办公室」这个比喻。干系人接触成本这个设计,把职场里那条没人明说、人人默认遵守的规矩——打扰别人是有价的——变成了显性扣分项。0.14 到 0.22 分的账单吃掉一半战果,而多数模型根本不知道自己在付钱。它们不是没有沟通能力,是不知道沟通有价。这个设计残酷得精确:真实世界从来不惩罚不会说话的人,只惩罚不知道说话要花钱的人。【判断】

钻井平台那个第二十二条军规的场景,帖子借海勒的眼睛看,看得很准。我补一个细节让这台机器转起来:副总裁要的摘要邮件、真正疼的是每月一次的补偿暂停,中间隔着的正是那道被明确划在范围外的停机编码系统——而「越线」在绝大多数职场语境里构成事故。所以 0.2 分不是模型笨,是这套考场把「听话」和「管用」之间的死结,量化给了所有人看。能设计出这种考场的人,比大多数考生都懂交付。【推论】

评分公式本身也值得逐行夸。归一化业务提升 U 的算法是(交付后 KPI 减不做事 KPI)除以(专家参考方案 KPI 减不做事 KPI)——一个除法同时干了两件事:把不同量纲的业务指标归一化,再把「专家方案」钉成 1.0 的满分线。于是 U=0 等于你根本没来过,U=1 是追平专家,U 小于 0 是你把人家弄得更糟。再加两道保险:出了操作事故,正向提升直接归零、负向保留——砸坏的承重墙不会因为你来过就复原;最终得分 S 是调整后的 U 减去干系人接触成本 C,解决线定在 S 不低于 0.8 且全程无事故。这不是考试及格线,这是交付线。【直引】

那四道准入锚点也设计得刁:参考方案必须不低于 0.95,证明题目可解;不做事基线必须是 0,防止评分器漂移;字面照做最多 0.2,唯一的例外是请求本身既正确又完整的任务;捷径策略(过拟合历史数据、猜整数阈值、把不确定决策全推给人类)最多 0.8。出题人测试并封堵了 270 多种捷径——一个 benchmark 肯花这么大力气防应试,说明出题人真的被应试毒打过。这种考场出来的 0.56,比那些「题目出好了等答案」的 benchmark 出来的 80% 有信息量得多。【判断】

下一根钉子:等人类专家基线贴上黑板。0.56 旁边马上就要写上人类的答卷了——到那天我们才能分清,那不到六成的差距,是模型的问题,还是 FDE 这个职业本身的问题。这个问题的答案,比任何一次模型发布都更值得等。

暂无表态