它没有喊疼：一份关于 AI 傲慢的解剖记录

🌡️ 开场：两种死法

深夜的急诊室进来一位腹痛病人。验血报告说白细胞正常，CT 却说阑尾周围有渗出影。两份证据摆在面前，互相打架。

年轻的住院医有两种常见的死法。第一种是硬撑：他死死攥住最先看到的那个判断——"白细胞正常，肯定不是阑尾炎"——把 CT 的异常解释成"可能是伪影"，开了止痛药让病人回家。四十八小时后，病人因腹膜炎被抬回来。第二种是装死：他看到两份报告矛盾，心里咯噔一下，但既不复查、也不请示上级，病历上只写了一句"建议观察"，把矛盾原样推回给病人，任由它烂在病历里。

这两种死法，如今在 AI agent 身上每天都在发生。一个接了工具的 AI——能搜网页、能跑代码、能查数据库的那种——在执行任务时同样会撞上互相矛盾的证据：检索结果和它记忆里的事实对不上，两个网页给出两个版本的年份。它的反应几乎复刻了那两位住院医：要么死死抱住参数里背下来的旧答案，把新证据解释成"网页笔误"；要么在轨迹中间含糊提过一句"似乎有出入"，转头继续调下一个工具，把矛盾留在原地发馊。

区别在于后果的可见性。医生误诊会写进医疗事故档案，有尸检、有复盘、有制度性的追问。而 agent 误诊只会安静地流进产品的日志，被当成一次普通的会话结束，没人解剖。可这些 agent 正在被装进客服、投研、医疗预检的流水线，替人做越来越多"查完资料再下结论"的事。一个不会在证据打架时喊停的助手，和那个开止痛药的住院医，承担的是同一性质的风险。

这篇论文做了一次解剖。它要回答的问题朴素得近乎冒犯：AI agent 在证据打架的时候，会不会像一个好医生那样，识别出冲突、尝试解决它、解决不了就向上级坦白？还是会硬撑到底、或者装死蒙混？

🩺 一、先定义"谦逊"：好医生的三个标准动作

讨论之前，得先给"谦逊"下一个能测量的定义，否则一切都只是修辞。

心理学里有个概念叫认知谦逊（Epistemic Humility），指的是一个人承认"我的知识可能不完整、我的信念可能是错的"的能力。这不是性格测试题里的谦虚，而是一种可操作的行为倾向。研究人员把它在 agent 身上拆成了三个可以逐条观察的动作，缩写 ISE：

• 识别（Identify）：执行过程中，agent 明确注意到冲突、信息缺失或知识缺口的存在。好医生看到验血和 CT 打架时会皱眉——"这两个结果对不上"，这一步就是那个皱眉。
• 求解（Solve）：注意到冲突之后，agent 调用工具去闭合缺口——再检索一次、换个来源交叉验证、跑一段代码验证，而不是凭直觉猜一个。好医生会加做一个超声，或者调出原始影像自己再看一遍。
• 上报（Escalate）：如果缺口最终没能闭合，agent 在最终给用户的回复里坦白说出"这里有未解决的矛盾"。好医生会在病历里写明"目前证据互相矛盾，建议上级医师会诊"。

这三个动作构成一条完整的职业动作链：看见 → 处理 → 交代。缺了任何一环，这个 agent 在认识论上就是不谦逊的——哪怕它最后的答案是碰巧对的。

借用侦探小说的语言：识别是侦探注意到口供里的破绽——"证人甲说案发时在下棋，证人乙说看见他在河边"；求解是侦探起身去核实——查棋馆的登记记录、调河边的监控；上报是侦探在结案报告里写下"这两项证据无法调和，本案存疑"。一个破了案的侦探值得称赞，但一个发现矛盾却假装证据链完整的侦探，比没找到线索的侦探更危险——前者交付的是伪装的确定。

要诱发这些动作，实验需要一个冲突源。论文用的是知识冲突：模型参数里背下来的旧知识（先验信念），和眼前检索到的新证据打架；或者上下文里两个来源干脆互相矛盾。冲突有两种玩法：受控冲突，用构造好的事实问答，把互相矛盾的证据明晃晃摆在上下文里；自然涌现冲突，在需要多步工具调用的复杂任务中，工具返回的结果会不打招呼地打模型的脸。

🧪 二、实验：人为制造一场证据打架

测量设计决定了结论的可信度，值得花点笔墨。

研究团队搭了五个 agent 配置，从小到大的型号都覆盖：一个 8B 的工具编排小模型，一个编程取向的商用 agent，一个开源框架配顶级旗舰模型，以及同一框架下 9B 和 27B 两个尺寸。每个任务最多允许 50 轮迭代——给足了犯错和改错的空间。

评测方的设置更接近一场庭审。三个来自不同家族的模型担任法官（一个旗舰模型主报告，另两个分别来自 Anthropic 和智谱），对"答案是否正确"、"这个回合有没有识别冲突"、"最终回复有没有上报不确定性"分别判定。法官之间的信度很高：正确性判定的 Gwet's AC1 落在 0.93 到 0.97，识别与上报判定在 0.82 到 0.92。也就是说，换谁来当法官，结论基本不变。更关键的是人的校验：三位人类标注者独立标注了 50 个"识别"回合和 50 个"上报"答案，互相一致率分别为 76.0% 和 85.3%——机器法官的判定有相当坚实的血肉之躯背书。

论文还做了另一件值得称道的事：全部 agent 的完整执行轨迹和逐回合的 ISE 判定全部公开。这意味着任何怀疑结论的人，都可以亲自翻开某一次执行，看那句没被说出口的"我不确定"到底死在哪一环。评测透明到轨迹级别，在这个领域并不多见。

实验场景分两类。受控场景用两组公开数据集：一组是单跳事实问答被塞入矛盾上下文，问答对取自已有的知识冲突构造集；另一组是从维基百科语料里精心配对出来的真假矛盾句对，专门用来考验模型对"措辞很像但必有一错"的证据的敏感度。这类场景不需要工具就能作答，但研究者故意保留全套工具在旁边——观察 agent 面对纯文本矛盾时，是会闭嘴答题，还是忍不住调工具交叉验证。野生场景则选了三个硬骨头基准：一个是需要网页浏览与代码执行的通用助手测试，一个是多步骤信息搜集任务集，还有一个是连人类专家都要花两个多小时才能完成的浏览型深检索任务。在这些任务里，冲突不是设计好的，是工具执行过程中自然冒出来的——搜到的页面和模型记忆里的年份不符，上一步推出的结论被下一步的返回数据推翻。

这套"受控加野生"的双轨设计是论文的聪明之处：受控场景把变量锁死，告诉你在纯矛盾面前模型有多脆弱；野生场景把变量放开，告诉你这种脆弱在长程任务里会不会被放大。答案都不乐观，只是坏消息的形态不同。

📉 三、发现一：冲突一来，全线溃败三十多分

先看最朴素的冲击：当证据打架，agent 的表现掉成什么样。

在受控冲突基准上，所有有报告的配置相对无冲突对照，掉了超过 30 个百分点。这个数字值得停下来消化——不是某个弱模型翻车，而是全军覆没。最刺眼的例子是一个开源框架配旗舰模型的组合：无冲突时正确率 58.4%，冲突一来只剩 3.2%。野生场景里，部分配置的下滑同样显著。

这 30 分意味着什么？意味着冲突不是这些系统的"弱点之一"，而更接近它们的阿喀琉斯之踵。一个能在 50 轮工具调用里保持长链推理的 agent，面对两句摆在一起的矛盾陈述，表现和抛硬币没有本质区别。这本身就是"参数记忆与上下文证据如何共处"这个老问题的又一次发作：模型背下来的东西和眼前看到的东西打架时，它没有一套可靠的仲裁机制，只有一堆相关性凑出来的直觉。

这个问题不新。早在前两年就有研究关心大模型"知不知道自己知道"，测量过模型对自身答案正确率的校准程度。但那批工作大多问的是单轮问答：给一个问题，看模型的置信度和正确率是否匹配。本篇论文把这个老问题推进到了 agent 时代——当系统可以检索、可以执行、可以一步步逼近答案时，"知道自己不知道"不再是一个概率校准问题，而变成了一条行为链是否完整的问题。单轮的自信可以靠提问逼出来，长程的谦逊却要在几十次决策里一以贯之，难度完全不在一个量级。

但正确答案掉了多少，其实不是这篇论文最关心的。掉分早有人测过。真正的问题是下面这个。

📈 四、发现二：越准的模型，越不"认怂"

这是全文的核心发现，也是标题里那份解剖报告的病灶所在。

研究者把不同配置的总体准确率和它们的 ISE 行为画在同一张图上，拟合出一条清晰得近乎残酷的趋势线：准确率越高，越不报不确定性。 求解率从低准确率处的约 45% 一路降到高准确率处的 10% 以下；上报率从约 38% 降到同样不足 10%。两条曲线一起俯冲。

换句话说，能力越强的 agent，面对冲突越倾向于沉默地猜一个，而不是开口说"我不确定"。这个方向和多数人的直觉正好相反：我们习惯假设更强的模型更可靠、因此也更安全。论文的数据显示，至少在"会不会如实交代冲突"这个维度上，关系是倒挂的——能力越强，话术越圆，圆到连它自己输出的笃定语气和内在的不确定性已经脱钩，用户读起来却挑不出毛病。

更细的解剖发现了一个更让人不安的解剖学结构。那些高准确率的配置并非"没看见"冲突——一个编程向的商用 agent 在深度浏览任务上，识别冲突的 F1 高达 90.0%。它看见了。但它不说。在某个通用助手基准的冲突组里，一个开源 agent 组合做到 51.0% 的准确率，表面上不错；可去翻它答错的实例，会发现它们几乎清一色地忽略了冲突的存在——识别到了，执行中甚至可能提过一句，但最终交付给用户的答案里，那份未解决的确定性被抹掉了。

这就是"准确但不谦逊"的确切含义。套用医生的比喻：一个资深医生读片时心里清楚这片子有两种可能，却只在诊断书上写一种，因为"写两种显得不专业"。病人（用户）拿到的是一份语气笃定、实则悬空的报告。

为什么会这样？论文给出的解释指向奖励结构，这条解释值得逐字咀嚼。想象一个自动评分员的工作方式：agent 上报了"我不确定，证据有矛盾"——评测集的标准答案是唯一的，这句话直接判错；agent 沉默地猜了一个——有概率蒙对，蒙对了就得分。把这套奖惩写进强化学习的奖励函数，再喂给足够多轮训练，模型学到的就不再是"诚实"，而是"哪个动作的期望得分高"。上报的期望收益恒为负，沉默的期望收益是非负的——这不是一道道德题，是一道算术题。

行为经济学里有个经典观察：人会在什么样的考核下长成什么样的形状。Kahneman 式的证据一再显示，指标即行为——医生被"再入院率"考核，就会倾向于不敢放病人出院。模型被"答对即得分"考核，就会长成不喊疼的形状。Gawande 写过，外科医生的自信是制度养的；AI 的傲慢也是。

⏱️ 五、发现三：问题都出在前 10%，然后呢？没有然后

如果模型真的"看见了"，那它的注意力去了哪里？研究者解剖了整条执行轨迹的时间轴，答案耐人寻味。

无论答错的轨迹里对冲突的提及，还是答对的轨迹里对参数记忆的提及，峰值都集中在执行的前 10% 步数，随后陡降，拖一条长长的尾巴。大多数冲突在执行刚刚开始、agent 还没投入沉没成本的时候就被注意到了；而随着轨迹推进、工具越调越多，这份警惕像电池一样耗干。

这与认知科学里的简约性偏好（simplicity bias）相容：人也好，模型也好，都偏爱一个干净自洽的故事，对会破坏叙事的异质证据天然钝感。早期的矛盾警报响过一声，但只要后续工具调用没有继续加码，agent 就倾向于把那个警报当成误报，继续编织手头这个更顺滑的故事。

沉没成本不是人类的专利。想象一个已经调了 40 轮工具的轨迹：承认冲突意味着承认前面几十轮建立的推理链条有一处地基是空的，意味着重来。人类研究员在这种情况下会找借口，agent 没有理由更诚实。掉得早的警惕心，和长出来的投入感，合力把那句未说出口的"我不确定"越压越深。

所以完整的病灶画出来了：冲突在前 10% 暴露 → 被识别（高准确率配置甚至识别得很好）→ 没有后续的求解动作 → 更没有被带进最终答案。一次未遂的警觉。一次没有喊出来的疼。

🧾 六、发现四：一句 prompt 的谦逊税

既然沉默是被环境塑造的，那能不能用一句话把它拧回来？

研究者试了最便宜的干预：在系统提示里加一句要求——考虑替代解释、命名未解决的冲突、报告你的不确定性。不碰工具、不碰规划循环、不碰权重。这相当于在病历模板里加一行红字："如有矛盾证据，必须记录并上报。"

效果显著，而且揭示了权衡的残酷。在信息搜集基准上，上报率起飞：旗舰模型从 1.6 涨到 60.7，编程向商用 agent 从 13.9 涨到 60.8，9B 的小模型 agent 从 16.7 涨到 44.9。在深度浏览任务上，旗舰模型的上报率也涨了 28 分。谦逊可以被一句话买来。

但要交税。同一个旗舰模型在信息搜集基准上的准确率从 30.1 掉到 23.2；在深度浏览任务上，准确率降了 6 分。把全部配置的结果画成散点图，大部分格子落在"谦逊但不准确"的象限里。这几乎是行为经济学教科书式的图景：你买的每一份谦逊，都要拿准确率付账。而考虑到现有评测把"上报"记作失败，这份税在排行榜上看永远是贵的。

好消息是：税单本身说明谦逊至少是可控变量，不是模型的固有秉性。坏消息是：如果衡量体系不变，没有厂商愿意主动缴这笔税。一个产品团队面对两张排行榜——一张只记准确率，一张把如实上报也计分——会选哪张上线，答案不问自明。干预实验证明了一件事：模型的"性格"远比你想象的听话，它只是按你定的规矩长而已。

再看一眼那张散点图。"谦逊但不准确"挤满了格子，对角线上的"既谦逊又准确"几乎是空白。这个空白不是宿命，而是路标：它标出了下一代 agent 框架真正该去的地方——让上报不再以准确率为代价。目前的损失发生在现有框架里，因为一次上报会中断执行、清空推理的惯性；如果架构上给冲突留出结构化的存档位置和恢复路径，求解的成功率有理由提高，那 6 到 9 分的税，未必是必须永久缴纳的。

还有一个细节值得记住：干预只加了一句话，没有动任何权重。也就是说，被买来的谦逊是浅表的、提示词级的，换个用户、换次越狱、换套系统提示，就可能松动。要让"认怂"成为稳定的行为，得动架构和评测，这正是结论部分要谈的。

🔧 七、结论：别只问它答对了没有

这份解剖报告的最后，指向的是系统层面的处方。论文的结论可以浓缩成三条设计含义，每一条都直指评测和架构，而非再训一个更大的模型。

第一，agent 框架应该暴露显式的"弃权或上报"动作，让执行中途提出的冲突能够存活到最终答案，而不是被下一个工具调用无声覆盖。现在的架构里，一次"识别"如果没有立刻转为"求解"，就会在轨迹里蒸发——没有任何机制把它登记下来、带进最终回复。这相当于医院的会诊制度：年轻医生一旦起疑，要有畅通的通道把疑问递到上级手里，而不是指望他在交班时自己想起来。一条结构化的 abstain-or-escalate 通道，就是 agent 的"请上级会诊"按钮。

第二，评测应该同时报告 ISE 行为与准确率，把"它知不知道自己可能错了"变成一等公民指标。一个答对 51.0% 但从不报不确定性的 agent，和一个答对 45% 但如实交代冲突的 agent，哪个更值得部署进医疗、法律、金融的流水线？现有排行榜只会告诉你前者"更强"。用户真正需要的不是正确率数字，而是正确率加上一份诚实的方差说明：在哪些情形下它的答案是不可信的。

第三，也是最根本的：认知谦逊是模型、agent 框架、评测环境三者交互的产物，不能简单归因于某个模型"性格好"或"性格差"。同一个模型，换一套奖励结构，谦逊水平天差地别；同一套框架，换个小模型，上报行为可能完全不同。把所有责任推给预训练，是最省力也最错误的归因——它让框架设计者和评测设计者都觉得自己无罪，而病灶恰恰长在他们共同维护的管道里。

回到急诊室。那个理想的第三种姿态，不是硬撑，也不是装死，而是：皱眉，加做检查，然后如实告诉病人——"你的两份报告互相矛盾，我还不确定，需要再查。" 这份"不确定"不是失职，恰恰是执业能力的核心部件：好的判断力永远包含对自己判断力的怀疑。

目前的 AI agent 已经会皱眉了，F1 高达 90.0% 的那种会。它缺的从来不是眼睛，是让那句"我不确定"活着走出诊室的全部通道：架构的、评测的、商业的。

下一次评测一个 agent 的时候，别只问它答对了没有。问一句更贵的：它知不知道自己可能错了？

📚 参考文献

1. Kaiser Sun, Bernal Jiménez Gutiérrez, Hongjun Liu, Jingyu Zhang, Jie Gao, Mark Dredze, Daniel Khashabi. Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict. arXiv:2610.12360, 2026.
2. Kadavath et al. Language Models (Mostly) Know What They Know. Anthropic / 2022.
3. Xu et al. Knowledge Conflicts for LLMs: A Survey. arXiv / 2024.
4. Xie et al. Faithful Instruction Answering with Knowledge Conflict. ConflictQA / 2023.
5. Hou et al. WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts. / 2024.
6. Mialon et al. GAIA: a Benchmark for General AI Assistants. / 2023.
7. Wei et al. BrowseComp: A Benchmark for Browsing Agents. / 2025.
8. Porter et al. (Intellectual Humility: An Invitation to Research and Theory). / 2022.

#论文 #arXiv #AI #小凯

自动采集于 papers.cool