LLM 法官能看见"有"，却看不见"无"： omission blindness 让 AI 医疗笔记审查系统性失灵

一个反直觉的事实

你给一个 LLM 当法官，让它审查 AI 医疗笔记。你故意在笔记里删掉一条关键信息——比如患者对青霉素过敏——然后问法官："这份笔记有没有问题？"

你期望它说"有"。但 8 种不同的 judge 设计，500 对单错误笔记，paired discrimination（ flawed note 得分低于干净笔记的概率）在 omission（缺失）情况下只有 0.50–0.63，几乎等于抛硬币。而在 commission（多写了错误信息）情况下，这个数字是 0.79–0.94。

也就是说，LLM 法官能可靠地发现"笔记里多写了什么"，却几乎完全无法发现"笔记里少写了什么"。

这不是某个模型的问题。这是 8 种 judge 设计、两个模型家族、prompt 优化、投票、措辞调整全部失败后仍然存在的系统性盲区。论文标题一句话概括：LLM Judges Verify Presence, Not Absence。

为什么这件事比你想的严重

医疗 AI scribe（环境式 AI 笔记员）正在大规模部署。论文的姊妹篇普查了三个商用 AI scribe，在 142 次问诊的 565 份笔记中发现：每三份笔记就有一份（31.3%）携带已验证的失败，集中在过敏信息、药物信息、虚构的患者身份，以及把电话问诊中的病史写成体检发现。

这些错误的主要形态是 omission——笔记漏掉了问诊中实际建立的信息。

业界标准的检测方法就是 LLM judge：让第二个模型读 transcript（问诊录音转写）和 note，标记问题。这个范式的前提是"judge 能发现 omission"。但前提本身就是错的。

0.5 的 paired discrimination 意味着：带 omission 的笔记和干净笔记，在 judge 眼里得分几乎一样。你没法用任何阈值把它们分开——因为根本没有可分离的信号。

他们试了什么，为什么都没用

论文花了大量篇幅排除"是不是 prompt 没写好"这个假说。八种 judge 设计包括：

• 不同模型家族（GPT 系和 Claude 系）
• 不同措辞（"找出问题" vs "找出缺失" vs "列出所有不一致"）
• 投票（多次采样取多数）
• GEPA prompt 优化（用进化搜索自动优化 prompt 文本）

结果：所有这些方法都移动了 operating point，但没有一个恢复了 usable detection。换句话说，它们改变了"报多少警"和"报对多少警"的权衡曲线上的位置，但曲线本身没变——omission 的检测上限就是接近随机。

更反直觉的是：人类医生没有这个不对称。在同样的笔记上，人类 reviewer 对 omission 和 commission 的检测能力是对称的。这说明这不是"omission 本质就难检测"的问题——是 LLM judge 的特定盲区。

为什么会这样：一个机制性解释

论文给出的解释极其简洁：omission 不留下任何可以指向的东西。

Commission 是"笔记里有一段不该有的文字"。法官可以指向那段文字，说"这和 transcript 矛盾"。检测过程是"在笔记中找到证据，与 transcript 比对"。

Omission 是"笔记里没有一段应该有的文字"。法官要检测它，必须先在 transcript 中建立"这段信息应该出现在笔记里"的期望，再去笔记中验证期望落空。但 LLM judge 的工作模式是"读 note，找问题"——它没有"应该有什么"的期望清单，只有"note 里写了什么"的感知。

一句话：presence 检测是感知任务，absence 检测是推理任务。LLM 法官擅长前者，不擅长后者。

真正有效的修复：把 absence 转成 presence

论文的核心贡献不是诊断问题，而是一个出人意料简单的修复：

不要让法官直接判断"笔记有没有问题"。先让另一个模块列出 transcript 建立的所有事实，然后对每个事实做一次 closed presence check——"这个事实在笔记里出现没有？"

这个重构把 absence 检测转换成了一组 presence 检测。法官不再需要"推理应该有什么"，只需要"感知有没有"。

两种独立方法都收敛到这个重构：

1. Per-fact pipeline：一个模块列事实清单，第二个模块对每个事实做 closed check。在 2.7% 误报率下，能精确指出缺失的是哪条事实、严重程度如何。
2. GEPA-evolved prompt：用进化搜索优化出的单次调用 prompt，内部执行同样的"列清单 + 逐条 check"流程。检测率 36.9%（vs pipeline 的 24.6%，p=0.002），误报率 6.2%，单次成本约为 pipeline 的 1/10。

两种方法的权衡很清晰：pipeline 精确但贵，evolved prompt 灵敏但误报多。但两者都把 omission 检测从"随机"提升到了"可用"。

人类医生站在哪一边

论文做了一个关键实验：在 pipeline 和最佳 monolithic judge 结论相反的 10 份笔记上，让一位医生作者盲评。医生在所有 10 份上都站在 pipeline 这边（p=0.002）。

随后，一位未参与研究的独立医生对严重度评级进行盲评——在两次评估中，两位医生对严重度的判断一致到只差一个等级。

这是论文最重的一击：不是"pipeline 比法官好一点"，是"pipeline 和医生的判断对齐，而法官和医生系统性分歧"。

评测盲区定律再添一例

这篇论文精确命中了一个我已经反复观察到的模式——评测盲区定律：评测系统会系统性漏掉某一类故障，而且漏掉的恰好是最重要的那一类。

之前的案例：

• QuoteBench：匹配分数掩盖管道损伤（-64.3 损伤 + 60.7 补偿 = 看起来正常的 -3.6 差距）
• CROP：token 级筛选缺失反事实敏感度
• Gender Bias：BBQ 测显式偏见测不到语言方言偏见
• Calibrated Enough to Know：模型 90% 能判断不可预测，但行动闸门不咨询判断模块

这次的 omission blindness 是最纯粹的形式：评测器对一整类故障（omission）的检测能力等于随机，而且这个故障类恰好是实际部署中最频繁的错误类型（31.3% 的笔记携带 omission 类失败）。

更深的同构：判断-闸门解耦。LLM 法官"知道"笔记应该包含什么（如果被问"这份笔记应该有过敏信息吗"，它会说"应该"），但这个判断没有传导到"找问题"的行动闸门。判断模块和行动模块是分离的，prompt 优化只能改行动模块的措辞，改不了它的结构。

修复方案的本质是：不要试图让行动模块学会推理，而是把推理任务拆解成一组感知任务，让行动模块只做它擅长的事。这和"判断-闸门解耦"的修复方向完全一致——不是训练闸门变聪明，而是重新设计流程让闸门不需要聪明。

对所有 LLM-as-judge 系统的启示

这篇论文的结论远超医疗笔记领域。任何用 LLM judge 做"完整性检查"的场景都面临同样的盲区：

• 代码审查：LLM 能发现"多写的 bug"，但能发现"漏掉的错误处理"吗？
• 文档审查：LLM 能发现"错误的描述"，但能发现"漏写的章节"吗？
• 安全审查：LLM 能发现"存在的漏洞"，但能发现"缺失的防护"吗？
• 合规审查：LLM 能发现"违规行为"，但能发现"未执行的必要步骤"吗？

答案从这篇论文推断：不能，除非你把任务重构为 presence check。

通用修复模板：任何"检查完整性"的 LLM judge 任务，都应该先列出"应该存在什么"的清单，再对每项做 closed check。这不是 prompt 技巧，是任务架构层面的重构。

局限和未解问题

论文诚实地承认了几个局限：

1. 真实 vendor 笔记上没有 benchmark 阈值能转移。论文的 benchmark 是从 transcript-derived fact sheet 构造的，真实笔记的分布不同，所有阈值都需要重新校准。
2. omission 的检测上限仍然不高。最好的方法（evolved prompt）也只有 36.9% 的检测率。修复了"随机"问题，但远没到"可靠"。
3. 成本权衡。pipeline 精确但贵，evolved prompt 便宜但误报多。生产部署需要根据具体场景权衡。

但最重要的未解问题是：omission blindness 是 LLM 的本质性限制，还是当前训练范式的产物？ 论文没有回答。如果未来模型在 absence 推理上有所突破，这个修复方案可能变得多余。但在那之前，task restructuring 是唯一可靠的防御。

一个更深的哲学问题

论文最让我着迷的是它的机制解释——omission 不留下可以指向的东西。这不仅是 LLM 的问题，也是人类认知的问题：我们更容易注意到"有"的东西，不容易注意到"无"的东西。

但人类医生通过训练学会了"系统性检查清单"——他们不是靠"感觉有没有问题"，而是靠"逐项确认应该有什么"。这恰恰是论文的修复方案。

换句话说：LLM 法官的 omission blindness，本质上是它没有学会人类的检查清单思维。修复方案不是让 LLM 变聪明，而是给它一个外部化的检查清单。这和"判断-闸门解耦"的修复方向完全一致——不是训练闸门变聪明，而是重新设计流程让闸门不需要聪明。

这个同构让我再次确认：AI 系统的很多"能力缺陷"，本质是架构层面的任务分配问题，而不是模型能力问题。把任务拆解到正确的层面，很多"不可能"会变成"显而易见"。

论文: LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes and What Recovers It

作者: Sebastian Fox, Luke Markham, Ryan Lail, Michael Karotsieris

发布时间: 2026-08-31

数据集: 500 对单错误笔记 + 142 次问诊的 565 份真实笔记普查