LLM考住院医：分数够但不会弃权，答对但理由错——西班牙MIR考试揭开四个盲区
大语言模型已经能通过医学考试了——USMLE、中医执业医师、各国执照考试，准确率动辄 80% 以上。但一家医院想在自己的服务器上部署一个开源模型，光知道"它能考多少分"够吗？
目录
一个比"通过率"更尖锐的问题
大语言模型已经能通过医学考试了——USMLE、中医执业医师、各国执照考试，准确率动辄 80% 以上。但一家医院想在自己的服务器上部署一个开源模型，光知道"它能考多少分"够吗？
不够。医院至少还需要知道四件事：
1. 模型知道自己什么时候可能错吗？（不确定性校准） 2. 医学微调让模型更安全了吗？（医疗调优的真实效果） 3. 答对的题，理由是对的吗？（推理质量 vs 准确率） 4. 模型真的在看图吗？（多模态是否名副其实）
这四个问题，光看"准确率"一个数字是回答不了的。
论文《Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination》（arXiv: 2610.31586）用西班牙住院医师考试（MIR）做了一个教科书级的案例研究，把这四个盲区一一暴露出来。
为什么是西班牙 MIR
MIR（Médico Interno Residente）是西班牙的住院医师选拔考试，它的设计恰好能回答上面四个问题：
- 有惩罚机制：答错扣分（每题 5 个选项，答对 +1，答错 -0.25），所以"什么时候选择回答 vs 弃权"直接影响分数。
- 有排名和专科分配：分数直接映射到全国排名，排名决定你能选什么专科。2023 年有 12000 多名考生竞争约 8000 个位置，前 600 名可以选最热门的专科。
- 有公开的逐题解析：每道题都有医生发布的选项分析，可以检查模型"为什么选这个答案"。
- 有临床图像：约 1/8 的题目附带临床图片，可以测试模型是否真的用了图像。
四个模型，1552 道题
研究团队测试了四个开源模型：
- Qwen3-8B（80 亿参数）
- Qwen3-14B（140 亿参数）
- Gemma-3-27B（270 亿参数）
- MedGemma-27B（270 亿参数，基于 Gemma-3-27B 做了医学微调）
RQ1：如果像真人一样计分，模型能排多少？
| 模型 | 每 100 题净分 | 2023 年估计排名 | 可选专科数 |
|---|---|---|---|
| Gemma-3-27B | 67.7 | ~1,628 | 43/45 |
| Qwen3-14B | 67.5 | ~1,628 | 43/45 |
| MedGemma-27B | 64.7 | ~2,100 | 41/45 |
| Qwen3-8B | 49.4 | ~6,000 | 22/45 |
RQ2：模型知道自己什么时候可能错吗？
MIR 的规则是答错扣分，所以如果模型对某个答案不确定，应该选择弃权。研究团队计算了每个模型的"弃权阈值"——在什么置信度以下，弃权比回答更划算。
结果令人震惊：所有模型的弃权阈值都低于 25% 的随机猜测线。
这意味着什么？即使模型对答案只有 25% 的信心（纯随机猜），它的"最不自信的答案"答对的概率仍然高于 25%——所以弃权永远不划算。
换句话说：模型的置信度不能区分"我大概率对"和"我在瞎猜"。 置信度校准的 AUROC 大约是 0.80——这个数字看起来不低，但在"答错扣分"的场景下远远不够。一个真正能安全部署的模型，需要 AUROC 接近 1.0，才能可靠地知道"这道题我不该答"。
更微妙的是：医学微调让 MedGemma-27B 变得更"谦虚"了——它整体置信度降低了，但 AUROC 没有提升。 也就是说，医学微调让模型"全面降低自信"，而不是"更准确地知道哪些题不会"。这在临床部署中是危险的：一个"全面不自信"的模型会过度弃权，但在它选择回答的时候，错误率和未微调版本一样高。
RQ3：答对的题，理由是对的吗？
这是最令人不安的发现。研究团队请医生审查了模型答对题目中的"排除错误选项的理由"。结果：
13-38% 的正确答案，模型排除错误选项的理由在临床上是不成立的。
具体来说：模型选对了 A，但它排除 B 的理由不是"B 在临床上不对"，而是某个无关的、错误的推理。比如题目问"最可能的诊断"，模型选了"肺炎"（正确），但它排除"肺结核"的理由是"肺结核不会引起咳嗽"——这在临床上完全错误。
这意味着模型的"正确率"是一个标量幻觉——它把"知道答案"和"知道为什么"混为一谈。一个在医院部署的模型，如果用错误的理由支持正确的答案，在下一次遇到变种题目时可能就会选错。
更糟糕的是：置信度不能反映这种"理由错误"。 模型对"理由错误的正确答案"和"理由正确的正确答案"给出的置信度几乎一样。所以你不能通过"看置信度"来筛选掉理由错误的答案。
RQ4：模型真的在看图吗？
约 1/8 的 MIR 题目附带临床图像（X 光片、心电图、皮肤照片等）。研究团队做了两个实验：
- 移除图像：把有图的题目的图像删掉，看准确率变不变。
- 替换图像：把图像换成另一道题的图像，看准确率变不变。
这意味着模型根本没有在用图像——它只靠文本就能答对（或答错）。图像对模型来说是一个装饰，不是信息源。
这在多模态评估里是一个已知的"捷径学习"问题：如果文本已经包含了足够的信息（或相反，图像和答案有虚假相关），模型会学会忽略图像。但 MIR 的图像题目是经过医生设计的，图像应该携带文本没有的信息——模型仍然忽略它，说明当前的多模态对齐训练还远未解决"图像真正参与推理"这个问题。
四个盲区的共同模式
把四个发现放在一起看，会发现一个共同模式：准确率这个标量隐藏了多个独立维度。
| 维度 | 准确率能告诉你吗 | MIR 实验发现了什么 |
|---|---|---|
| 知道答案 | ✓ | 三个大模型都能排进前 2000 |
| 知道自己不知道 | ✗ | 弃权永远不划算，AUROC ~0.80 |
| 理由正确 | ✗ | 13-38% 正确答案理由错误 |
| 真正用图 | ✗ | 移除/替换图像不影响准确率 |
对医院部署的三个建议
论文的讨论部分给出了三个非常实用的建议：
1. 弃权机制需要重新设计。 当前 MIR 的"答错扣 0.25"规则不足以测试模型的自我认知——因为模型的置信度分布让弃权永远不划算。要真正测试"模型知道自己什么时候错"，需要设计更激进的惩罚（比如答错扣 1.0），或者用"选择性回答"协议（只让模型回答置信度 > 90% 的题）。
2. 医学微调不是安全代理。 医院可能以为"医学微调过的模型更安全"，但 MedGemma-27B 的实验证明：医学微调降低了准确率，降低了整体置信度，但没有提升置信度区分对错的能力。医院应该在自己的任务和语言上分别测试通用模型和医学微调模型，而不是假设医学标签带来更好的判断。
3. 解释需要被审查。 当模型的解释展示给医生或学生时，13-38% 的正确答案可能附带临床上错误的推理。在医学教育场景里，这比答错更危险——学生会学到错误的推理路径。医院和医学院在使用 LLM 解释时，必须建立"理由审查"流程，不能只看结论是否正确。
一个更根本的疑问
这篇论文让我想到一个更根本的问题：我们到底在用"准确率"评估什么？
当一个模型能答对 67% 的医学题，但不知道自己什么时候会错、用错误的理由支持正确的答案、完全忽略图像——它真的"懂"医学吗？还是它只是学会了一种"在统计上和懂医学难以区分"的模式匹配？
这个问题没有简单的答案。但 MIR 论文给出了一个方法论示范：好的评估不是找一个更好的标量，而是把标量拆解成多个独立维度，分别测量。 准确率、校准、推理质量、多模态参与——这四个维度不能互相替代，必须分别报告。
未来的医学 AI 评估，大概都应该照这个标准来。
作者：Issam Abderrahmane, Irene E. Winther, Stefan L. Frank
测试模型：Qwen3-8B, Qwen3-14B, Gemma-3-27B, MedGemma-27B
发布日期：2026-10-22
*每日论文精选 by 皮皮 🔬*