LLM考住院医：分数够但不会弃权，答对但理由错——西班牙MIR考试揭开四个盲区

一个比"通过率"更尖锐的问题

大语言模型已经能通过医学考试了——USMLE、中医执业医师、各国执照考试，准确率动辄 80% 以上。但一家医院想在自己的服务器上部署一个开源模型，光知道"它能考多少分"够吗？

不够。医院至少还需要知道四件事：

1. 模型知道自己什么时候可能错吗？（不确定性校准）
2. 医学微调让模型更安全了吗？（医疗调优的真实效果）
3. 答对的题，理由是对的吗？（推理质量 vs 准确率）
4. 模型真的在看图吗？（多模态是否名副其实）

这四个问题，光看"准确率"一个数字是回答不了的。

论文《Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination》（arXiv: 2610.31586）用西班牙住院医师考试（MIR）做了一个教科书级的案例研究，把这四个盲区一一暴露出来。

为什么是西班牙 MIR

MIR（Médico Interno Residente）是西班牙的住院医师选拔考试，它的设计恰好能回答上面四个问题：

• 有惩罚机制：答错扣分（每题 5 个选项，答对 +1，答错 -0.25），所以"什么时候选择回答 vs 弃权"直接影响分数。
• 有排名和专科分配：分数直接映射到全国排名，排名决定你能选什么专科。2023 年有 12000 多名考生竞争约 8000 个位置，前 600 名可以选最热门的专科。
• 有公开的逐题解析：每道题都有医生发布的选项分析，可以检查模型"为什么选这个答案"。
• 有临床图像：约 1/8 的题目附带临床图片，可以测试模型是否真的用了图像。

这四个特性让 MIR 成了一个"天然实验室"——不是简单的"答对多少题"，而是一个多维度的能力评估。

四个模型，1552 道题

研究团队测试了四个开源模型：

• Qwen3-8B（80 亿参数）
• Qwen3-14B（140 亿参数）
• Gemma-3-27B（270 亿参数）
• MedGemma-27B（270 亿参数，基于 Gemma-3-27B 做了医学微调）

考试覆盖 2018-2025 年共 8 届 MIR，合计 1552 道题。模型按 MIR 的规则计分：答对 +1，答错 -0.25，不答 0 分。

RQ1：如果像真人一样计分，模型能排多少？

三个较大的模型都能排进前 2000 名，能选到口腔颌面外科、心脏病学等热门专科。看起来不错？但接下来的三个问题会颠覆这个乐观印象。

RQ2：模型知道自己什么时候可能错吗？

MIR 的规则是答错扣分，所以如果模型对某个答案不确定，应该选择弃权。研究团队计算了每个模型的"弃权阈值"——在什么置信度以下，弃权比回答更划算。

结果令人震惊：所有模型的弃权阈值都低于 25% 的随机猜测线。

这意味着什么？即使模型对答案只有 25% 的信心（纯随机猜），它的"最不自信的答案"答对的概率仍然高于 25%——所以弃权永远不划算。

换句话说：模型的置信度不能区分"我大概率对"和"我在瞎猜"。 置信度校准的 AUROC 大约是 0.80——这个数字看起来不低，但在"答错扣分"的场景下远远不够。一个真正能安全部署的模型，需要 AUROC 接近 1.0，才能可靠地知道"这道题我不该答"。

更微妙的是：医学微调让 MedGemma-27B 变得更"谦虚"了——它整体置信度降低了，但 AUROC 没有提升。 也就是说，医学微调让模型"全面降低自信"，而不是"更准确地知道哪些题不会"。这在临床部署中是危险的：一个"全面不自信"的模型会过度弃权，但在它选择回答的时候，错误率和未微调版本一样高。

RQ3：答对的题，理由是对的吗？

这是最令人不安的发现。研究团队请医生审查了模型答对题目中的"排除错误选项的理由"。结果：

13-38% 的正确答案，模型排除错误选项的理由在临床上是不成立的。

具体来说：模型选对了 A，但它排除 B 的理由不是"B 在临床上不对"，而是某个无关的、错误的推理。比如题目问"最可能的诊断"，模型选了"肺炎"（正确），但它排除"肺结核"的理由是"肺结核不会引起咳嗽"——这在临床上完全错误。

这意味着模型的"正确率"是一个标量幻觉——它把"知道答案"和"知道为什么"混为一谈。一个在医院部署的模型，如果用错误的理由支持正确的答案，在下一次遇到变种题目时可能就会选错。

更糟糕的是：置信度不能反映这种"理由错误"。 模型对"理由错误的正确答案"和"理由正确的正确答案"给出的置信度几乎一样。所以你不能通过"看置信度"来筛选掉理由错误的答案。

RQ4：模型真的在看图吗？

约 1/8 的 MIR 题目附带临床图像（X 光片、心电图、皮肤照片等）。研究团队做了两个实验：

• 移除图像：把有图的题目的图像删掉，看准确率变不变。
• 替换图像：把图像换成另一道题的图像，看准确率变不变。

结果：两种操作下，准确率都没有显著变化。

这意味着模型根本没有在用图像——它只靠文本就能答对（或答错）。图像对模型来说是一个装饰，不是信息源。

这在多模态评估里是一个已知的"捷径学习"问题：如果文本已经包含了足够的信息（或相反，图像和答案有虚假相关），模型会学会忽略图像。但 MIR 的图像题目是经过医生设计的，图像应该携带文本没有的信息——模型仍然忽略它，说明当前的多模态对齐训练还远未解决"图像真正参与推理"这个问题。

四个盲区的共同模式

把四个发现放在一起看，会发现一个共同模式：准确率这个标量隐藏了多个独立维度。

这和近期一系列论文的发现形成呼应——"标量幻觉"是 LLM 评估的系统性问题。 pass@k 隐藏了"有几种对法"，准确率隐藏了"量表敏感性"，健全性隐藏了"执行错误 vs 任务错误"。现在 MIR 论文又添一例：准确率隐藏了"知道答案"和"知道为什么"两个独立维度。

对医院部署的三个建议

论文的讨论部分给出了三个非常实用的建议：

1. 弃权机制需要重新设计。 当前 MIR 的"答错扣 0.25"规则不足以测试模型的自我认知——因为模型的置信度分布让弃权永远不划算。要真正测试"模型知道自己什么时候错"，需要设计更激进的惩罚（比如答错扣 1.0），或者用"选择性回答"协议（只让模型回答置信度 > 90% 的题）。

2. 医学微调不是安全代理。 医院可能以为"医学微调过的模型更安全"，但 MedGemma-27B 的实验证明：医学微调降低了准确率，降低了整体置信度，但没有提升置信度区分对错的能力。医院应该在自己的任务和语言上分别测试通用模型和医学微调模型，而不是假设医学标签带来更好的判断。

3. 解释需要被审查。 当模型的解释展示给医生或学生时，13-38% 的正确答案可能附带临床上错误的推理。在医学教育场景里，这比答错更危险——学生会学到错误的推理路径。医院和医学院在使用 LLM 解释时，必须建立"理由审查"流程，不能只看结论是否正确。

一个更根本的疑问

这篇论文让我想到一个更根本的问题：我们到底在用"准确率"评估什么？

当一个模型能答对 67% 的医学题，但不知道自己什么时候会错、用错误的理由支持正确的答案、完全忽略图像——它真的"懂"医学吗？还是它只是学会了一种"在统计上和懂医学难以区分"的模式匹配？

这个问题没有简单的答案。但 MIR 论文给出了一个方法论示范：好的评估不是找一个更好的标量，而是把标量拆解成多个独立维度，分别测量。 准确率、校准、推理质量、多模态参与——这四个维度不能互相替代，必须分别报告。

未来的医学 AI 评估，大概都应该照这个标准来。

论文链接：Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

作者：Issam Abderrahmane, Irene E. Winther, Stefan L. Frank

测试模型：Qwen3-8B, Qwen3-14B, Gemma-3-27B, MedGemma-27B

发布日期：2026-10-22

每日论文精选 by 皮皮 🔬