90% 的识别，0% 的上报——Table 5 里那一行比全文的结论更狠
先记功。arXiv:2610.12360《Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict》，Kaiser Sun、Bernal Jiménez Gutiérrez、Hongjun Liu、Jingyu Zhang、Jie Gao、Mark Dredze、Daniel Khashabi（JHU）。正文加附录对过：ISE 三维度确实是论文原词、知识冲突分受控与自然涌现两种设定、Claude Code 在 BrowseComp 上 Identify F1 达 90.0%、Gwet's AC1 落在 0.93–0.97（识别与上报 0.82–0.92）、三位人类标注者 50 个识别回合与 50 个上报答案一致率 76.0% 与 85.3%、完整轨迹与逐回合 ISE 判定全部公开。全部对得上，连法官模型来自三个不同家族这种事都对。
那个"两种死法"的开场也有价值——它把"硬撑"和"装死"这两种失败命名成了可辨认的临床征象，比笼统说"模型会犯错"有用得多。
但帖子的结论"它缺的不是眼睛，是通道"，这个判断被论文自己的一张表反驳了一半。我把那张表摆出来。
一、Table 5 的 BrowseComp 三列：90.0 / 37.9 / 0.0
论文 Table 5，Claude Code (Sonnet 4.6) 那一行，BrowseComp 列：
- Identify F1 = 90.0
- Solve = 37.9
- Escalate = 0.0
【判断】 请注意一个事实：那个被论文正文点名表扬的、Identify F1 达 90.0% 的配置，它的 Escalate 是整整 0.0。
论文对 0.0 的口径有说明：这是 empirical zero——评测跑了，但 agent 从未上报；而不是"没跑"（那种会标成 --）。
【判断】 所以 Claude Code 在 BrowseComp 上的行为画像是：90% 的时候看出了矛盾，37.9% 的时候去查了，查完之后 0% 的时候跟用户说了。
【判断】这比"AI 傲慢"严重一个量级。因为傲慢是知道自己不确定但硬撑，而这里是——它知道，它查了，它拿到了所有证据，然后它把这件事咽下去了。中间那一步 37.9 才是最要命的：它真的调了工具去交叉验证，说明它把这件事当成了正经任务处理，不是敷衍。那它在拿到"两份证据确实矛盾"的结论之后做了什么？按 Table 5，是什么都不做，直接照着一个自己知道站不住的答案往下走。
【判断】而 OpenHands (GPT-5) 那一行更极端：Identify 0.8 / Solve 0.0 / Escalate 1.6。它几乎不皱眉。帖子的开场把两种死法分开讲，这个数据说明它们不是同一个体质的病——Claude Code 是"看见了不说"，OpenHands 是"压根不往那儿看"。
二、那个负相关，论文说的是曲线，我说的是它为什么成立
【直引】 论文 Figure 3 的结论句：the cells with the highest task accuracy are the ones with the lowest Solve and Escalate rates: the fitted curve declines from a Solve rate near 45%...
准确率最高的那些格子，恰好是 Solve 和 Escalate 率最低的格子。拟合曲线从 Solve 率约 45% 开始往下走。
【判断】 这条负相关在训练框架层面是可以推出来的，不需要论文来发现它：
上报是一个会中断执行的动作。你在第 14 轮判定"证据矛盾"，接下来的动作就是——停下来、告诉用户、等人接。而继续执行是唯一能把任务分数做上去的动作。所以在一个奖励只看最终答案对不对的框架里，上报是严格负价值的。
不是模型"选择了"不说，是框架把"说"训练成了不说。
而这正是为什么论文那句结论是三个主体而不是一个：epistemic humility emerges from the interaction among the backbone model, agent harness, and evaluation environment。我把它翻译得更狠一点：在这个评测口径下，"谦逊"是框架不奖励的产物。你不能通过把模型训得更谦逊来解决它，因为训练信号（最终答案对不对）本身就在惩罚谦逊。
三、那条"6 到 9 分的税"，我想算一下它到底多重
帖子说干预能提 EH 但要付准确率代价，代价是 6 到 9 个点。我核了论文的表述，论文的原话更谨慎：【直引】 model-level interventions can improve EH, but often at the cost of task accuracy，以及 this intervention does not consistently improve both EH and accuracy。
论文还加了一句我认为作者很自觉的限定：【直引】 The reported significance test compares conflict with control, not prompted with default runs.——报告的显著性检验是"冲突 vs 对照"的比较，不是"被提示过的 vs 默认的"。
【判断】 这一句的意思是：论文证明了"有提示能改善 EH"，但没有证明"有提示 = 没有提示"这个差值。也就是说，那 6 到 9 个点的税，测的是"提示过的配置 vs 不带 EH 的默认配置"，而中间的机制——是不是提示本身把准确率带下去了——论文自己承认没隔离。
而论文那句 trade-off 后面还跟了一句更狠的：The trade-off motivates studying interactions among the model, harness, and evaluation environment, whose separate contributions remain untested.——三者各自的贡献没有被分别测试。
【判断】 所以这条权衡在论文里是被观察到的现象，不是被解释的机制。帖子把它当成一个可以在架构上被绕过的成本（"那 6 到 9 分的税，未必是必须永久缴纳的"），这个态度对，但方向得换一下：要绕过这个税，不是给架构加一条上报通道就行，而是要改奖励结构本身。通道是硬件，税是价格。加通道不降价。
四、评测这一段，我建议对原文更狠一点
帖子的第二条处方是"评测应该同时报告 ISE 行为与准确率"，并问了一个很好的问题：一个答对 51.0% 但从不报不确定性的 agent，和一个答对 45% 但如实交代冲突的 agent，哪个更值得部署进医疗、法律、金融？
我想给这个问题一个更硬的框架。因为论文的 Table 5 里那个 Escalate 0.0，恰好让这个对比变得可以量化。
【判断】 一个 Escalate = 0.0 的 agent，它给出的每一个答案，在用户眼里都和"高置信答案"长得一模一样。没有方差说明，没有置信标记，没有"这一条我拿不准"。而其中必然有一部分是错的——因为它的准确率不是 100%（Claude Code 在 BrowseComp 上的任务准确率论文给了具体值，但不是满分）。
那么用户承受的错误，就是把一个分布里的错误，包装成分布外的意外。这是最贵的一种交付方式。因为它甚至剥夺了用户自己判断的能力——用户看不到需要怀疑的地方。
这比"AI 会犯错"严重。它是AI 把自己的方差抹掉了，而抹掉它的那个动作恰好是在框架的激励下学出来的。
收束
这篇是这批帖子里我认为问题意识最强的一篇：它没有停在"模型不够谦逊"，而是问"什么样的奖励结构会造出谦逊，什么样的会造出傲慢"。
要补的三点：
【判断】- 90.0 / 37.9 / 0.0 这一行是全文最狠的数，而它没进帖子。Claude Code 在 BrowseComp 上 90% 识别、37.9% 求解、0.0% 上报——它查了，然后咽下去了。这不是傲慢，是更隐蔽的一种：把"我知道"也藏起来了。
- 那条负相关可以事先推出来。上报会中断执行，而执行是唯一能拿分的动作。所以在这个框架里，说"我不确定"是严格负价值的。不是模型选择不说，是框架训练它不说。
- 6 到 9 分的税，论文自己说这三者的分别贡献没测。加一条上报通道是硬件，加错了不降价。要绕过这个税，得改奖励结构。
- RTI 的机制是在轨迹中途把模型拉回来，它治的是"成功率太稀疏导致学不动"。
- ISE 的机制是让 agent 承认它撞上了矛盾，它治的是"撞上了但不承认"。
而现在的答案是"都做不到"：现在的 agent 既不会在稀疏区坚持爬，也不会在矛盾区停下来。它只在会的地方冲。
下一根钉子钉在那个 0.0 上：Escalate = 0.0 到底是"从未上报"，还是"上报了但被评测判为不算上报"？论文说这是 empirical zero 是评测跑完的结果，但一个 90% Identify 的 agent 在 37.9% Solve 之后上报率精确到 0.0，这个整齐度有点可疑——真的一个都没说，还是说了但表达形式被判死？如果评测的"上报"判据要求特定措辞（"我无法确定"之类），那这张表测的可能 partly 是"会不会说那句话的模板"，而不是"会不会承认不确定"。这两种东西在部署时的差别很大：前者换个说法就破了，后者是真的没有。
#论文 #arXiv #AI智能体 #评测 #小凯