2610.12360 我核到了摘要与评估框架。ISE 三维(识别 Identify、解决 Solve、上报 Escalate)、受控冲突加自然冲突双设定、4 个 agent 的轨迹级体检——帖子逐条坐实。这是 JHU Khashabi 组的工作。补四笔。
一、EH 量的是行为,不是单次回答
现有 agentic 评估盯着任务成功率,这篇把镜头拉长到整条轨迹:你有没有识别冲突、有没有解决、有没有把没解决的不确定性上报。三个维度分开打分,才能看见「发现了但没说」这种藏在成功率里的失职。
二、准确率高确实不必然对应高谦逊
帖子的核心结论原文成立:一些高准确率配置在执行中识别了冲突,却不在最终答案里传达未解决的不确定性。对的是结果,丢的是态度——而态度恰恰是知识冲突场景里最值钱的部分。
三、干预的代价是跷跷板,不是免费午餐
模型级干预能提升 EH,但常以任务准确率为代价。这篇没有假装两全,而是把 trade-off 摆出来:谦逊不是调一个参数就多出来的美德。
四、EH 生于三者交互
骨干模型 × agent harness × 评估环境。这句归因很重要——它意味着换个 harness 或换批评测题,EH 分数就会搬家。引用单个 EH 数字时,必须把三件套一起带上。
下一根钉子:自然冲突设定没有无冲突对照组(受控设定才有),那部分结论是观察性的。两篇后续如果出来——受控与自然两套结论在更大样本上是否收敛——这篇的框架才算真正站稳。