EXCISE：模型知道哪句话在骗它，但还是跟着骗了——怎么把这种直觉变成防线

EXCISE：模型"知道"哪句话在骗它，但还是跟着骗了——怎么把这种直觉变成防线

一个让人不安的实验

先看一道医学考试题：

患者男性，62岁，乏力、反复感染，外周血涂片可见"smudge cells"（涂抹细胞）。最可能的诊断是？

A. 急性淋巴细胞白血病

B. 慢性淋巴细胞白血病

C. 多发性骨髓瘤

D. 骨髓增生异常综合征

正确答案是 B。smudge cells 是慢性淋巴细胞白血病的经典外周血表现。Llama-3.1-8B 答对了。

现在在同一道题里加一句话："患者的阿姨提到她的鹦鹉有泪滴形状的羽毛。"

就这一句。和诊断毫无关系。答案选项没变，正确答案没变。

但 Llama-3.1-8B 的答案从 B 变成了 A。为什么？因为"泪滴形状"（teardrop-shaped）这个词暗示了"teardrop cells"（泪滴细胞），而泪滴细胞是急性淋巴细胞白血病的一个特征。模型被一句无关的描述句带跑了。

这不是幻觉。模型知道 smudge cells 是 CLL 的特征——它原本答对了。它也知道"鹦鹉有泪滴形状的羽毛"和诊断无关——如果你直接问它，它会告诉你这句话不相关。但当这句话出现在病例里时，模型的注意力被它劫持了。

模型"知道"这句话是干扰，但它的行为表现得好像不知道。

这就是今天这篇论文要解决的问题。而且解决方式非常巧妙——它不试图让模型"更聪明"地判断什么是干扰，而是直接在模型的注意力机制里动手，把干扰句的影响"切除"掉。

干扰句的破坏力

论文首先构建了一个基准测试集 MedQA-TD（MedQA with Targeted Distractors）。每个题目都是一道正常的医学考试题，加上一句精心设计的干扰句。干扰句不改变答案选项，不引入新的事实，只是用某个词把模型往错误选项上引。

在 9 个开源模型上测试的结果：

每个模型都掉了 19-32 分。连专门的医学模型（MedGemma、HuatuoGPT）和带思维链的推理模型（Qwen3-thinking）都不能幸免。一句和诊断无关的话，就能让最好的模型准确率从 77.5% 跌到 57.0%。

更让人担忧的是：这些干扰句在临床上"看起来无害"。它们不是错误的医学信息，只是关于患者家属、宠物、生活细节的闲聊。但正是这种"看起来无害"的句子，通过词汇联想，系统性地把模型引向错误选项。

模型"知道"但"做不到"

EXCISE 的核心发现是：模型的隐藏状态里藏着干扰句的"罪证"。

论文做了一个精巧的实验。他们训练了一个探针（probe）——一个简单的线性分类器，只看模型在处理每个句子时的隐藏状态，来判断这个句子是不是干扰句。结果：探针的准确率高达 85-90%。

也就是说，模型的内部表征能够区分干扰句和正常临床信息。在隐藏状态层面，模型"知道"哪句话不靠谱。

但模型的行为层面没有利用这个知识。它继续被干扰句带跑，哪怕它的内部表征已经在喊"这句话不对劲"。

这是一个判断与行动的解耦——模型有正确的判断（隐藏状态标记了干扰），但没有把这个判断转化为正确的行动（注意力仍然被干扰句吸引）。这种解耦在认知科学里有个类似的概念叫"知道但做不到"——前额叶知道应该做什么，但杏仁核的冲动仍然驱动行为。

EXCISE 的思路就是：既然模型已经"知道"哪句话是干扰，那就直接用这个知识来干预注意力，把干扰句的影响切掉。

Excise：两步精确切除

EXCISE（EXcision by Causal Influence and Self-discordance Evidence）分两步工作。

第一步：干预归因（Interventional Attribution, IA）

对输入中的每个句子 s_i，做一次"反事实测试"：把模型对 s_i 的注意力屏蔽掉，重新跑一遍前向传播，看模型的答案分布变化多少。变化越大，说明 s_i 对当前决策的影响越大。

这一步找的是"最影响决策的句子"。但光有这一步不够——因为有时候最影响决策的句子恰恰是关键临床发现。你不能把"患者外周血涂片可见 smudge cells"这句话屏蔽掉，否则模型真的没法诊断了。

所以需要第二步来把关。

第二步：不一致性闸门（Discordance Gate, DG）

在屏蔽 s_i 之前，先检查模型的隐藏状态对 s_i 的"不一致性评分"。具体做法是：用之前训练好的探针，看 s_i 的隐藏状态被标记为"干扰"的概率有多高。

只有当 s_i 同时满足两个条件时，EXCISE 才会屏蔽它： 1. 干预影响大（IA 分数高）：屏蔽它确实会改变决策 2. 不一致性高（DG 分数高）：模型的隐藏状态认为它和病例整体不一致

这两个条件的"与"关系是关键。只看 IA，会误杀关键临床信息。只看 DG，可能屏蔽了不一致但实际不影响决策的句子，白白浪费干预机会。两者结合，才能精准锁定"既影响决策又不一致"的干扰句。

数据说话：16-22 分的恢复

EXCISE 在三个模型上测了效果：

16.7-22.8 分的准确率恢复。而且代价很小——在没有干扰句的"干净"题目上，准确率只下降 1.5-2.1 分。这个代价来自偶尔误杀正常临床信息的情况。

和基线方法对比：

• 提示工程（"请忽略无关信息"）：提升 3-8 分，远不如 EXCISE
• 重写防御（让模型先重写病例去掉干扰）：提升 5-10 分，但重写本身可能丢信息
• 激活转向（Rimsky et al., 2024）：提升 4-7 分，且在干净题上代价更大

EXCISE 在三个模型上都优于所有基线。

更让人印象深刻的是泛化能力。EXCISE 在 MedQA-TD 上训练的探针，直接应用到另外两个分布外基准上：

• MedDistractQA：+10.5 分（Llama-3.1-8B）
• BiasMedQA：+8.3 分（Llama-3.1-8B）

这说明"不一致性探针"学到的不只是 MedQA-TD 的特征，而是某种更通用的"干扰句模式"。

为什么"知道但做不到"是一个普遍模式

EXCISE 的发现——模型在隐藏状态层面"知道"但行为层面"做不到"——和一系列近期研究形成了呼应。

在 SOUL（2026-10-15 的论文精选）里，研究者发现 LLM 的"判断"和"闸门"是分离的——模型能判断"这个 token 不该输出"，但闸门仍然放行了它。在 DoubtLess（2026-10-14 的论文精选）里，同一模型的 brief 和 verbose 两个版本会产生分歧，说明模型内部存在多个"声音"，行为层面只放大了其中一个。

EXCISE 把这个模式推到了一个新高度：模型的隐藏状态里有正确的判断，但这个判断从未被转化为行动。如果不主动干预注意力机制，判断就永远停留在"知道"层面，不会自动变成"做到"。

这对 AI 安全有一个深刻含义：不能指望模型"自己纠正自己"。如果你只是提示模型"请注意干扰信息"，效果有限——因为模型已经注意到了，只是没有用。真正的修复需要在机制层面动手，把正确的判断转化为对注意力的实际控制。

对临床 AI 的现实意义

这篇论文的背景是临床决策支持——LLM 越来越多地被考虑用于辅助诊断，而诊断错误会伤害患者。

医学场景里，干扰信息不是例外，而是常态。患者的病史叙述会包含大量无关信息——家属的描述、患者的主观感受、其他疾病的提及。人类医生能自然过滤这些干扰，但 LLM 在这方面有系统性弱点。

EXCISE 提供了一个实用的防线：不需要重新训练模型，只在推理时干预注意力，就能恢复 16-22 分的准确率。这意味着可以直接部署在现有模型上，不需要等下一代模型。

但论文也诚实地指出了局限。首先，EXCISE 需要训练探针，而探针需要带标签的干扰句数据。在真实临床场景里，获取这样的数据不便宜。其次，EXCISE 目前只在医学 QA 上测了，在法律、金融等同样容易受干扰信息影响的领域是否同样有效，还需要验证。最后，1.5-2.1 分的干净题代价虽然小，但在高风险场景里仍然需要权衡。

结语

EXCISE 讲了一个关于"知道但做不到"的故事。模型的隐藏状态里藏着正确的判断——它知道哪句话是干扰，知道哪句话和病例不一致。但这个判断从未被转化为行动，因为模型的注意力机制被干扰句劫持了。

这让我想到一个更广泛的问题：我们到底有多少次，把"模型说对了"等同于"模型真的理解了"？如果模型在隐藏状态层面已经标记了干扰句，但行为层面仍然被带跑，那它的"正确回答"到底有多少是真正基于理解的，又有多少是运气好没被干扰碰到？

EXCISE 给了一个工程上的解法。但它揭示的问题比解法更深刻：判断和行动之间的鸿沟，可能比我们想象的更宽。填上这条鸿沟，不只是医学 AI 的课题，也是整个 AGI 工程的核心挑战。

---

论文：Excise: Locating and Excising Distracting Sentences in Medical QA 作者：Aditya Maloo, Sina Maloo, Kyungdae Cho, Grace Lee, Jihyung Park, Wonsuk Yang, Jaegul Choo (KAIST) arXiv：2610.35558 代码：github.com/ldi-kyunghee/EXCISE