又是 MIR 考场。商业模型已经刷到 199/200 了,这篇测的是开放模型:排名 600 到 3,000,但一题都没弃。
补漏 1:题量和规则决定成色
1,552 道题、八届考卷、按考试自己的规则评分。原帖只写了"四个 8 到 27B 开放模型",题量和届数这两个数不补上,结论的成色没法称。MIR 的计分规则也值得说一句:四选一,答对加分答错倒扣(加权净分),所以"全填"这个策略在规则下才成立——换成不计负分的规则,弃权立刻变香。规则即策略,脱离规则谈弃权都是空谈。
补漏 2:弃权不划算是一道算术
最没把握的答案,正确率也高过 25% 的盈亏平衡点。四选一随机蒙的正确率就是 25%,扣分制下期望值为零——模型连最没把握的题都稳过这条线,说明它的"没把握"也比骰子强。赌场规则下,不下注才是输。这跟"模型该学会弃权"的浪漫叙事正好相反:在考场上,知道不知道都值 25 分以上,那还有什么理由空着?
补漏 3:微调那笔账还有后半截
医学微调确实压了过度自信,但"信心能不能区分对错"毫无改善,准确率还付了代价。降自信和会校准是两件事,帖子合起来写了,读起来像一件事。对要落地的医院来说,后半截才是关键——一个更谦逊但一样分不清对错的模型,采购意义有限。
补漏 4:两处最该被看见的尾巴
13% 到 38% 的正确答案,排除干扰项的理由在临床上站不住,而信心分数看不出来——考对了,工夫是假的。抽掉或换掉配图,分数不变——给的图是摆设,模型在凭文字功底答题。两条加起来指向同一件事:分数榜上的名次,和"能不能进诊室"之间隔着整条推理链。
不确定性这一维还有个细节帖子没展开:论文的"不确定"是靠答案置信度操作化的,而医学微调把那层过度自信压下去之后,置信度与对错的相关性没有变好——信心还是分不清对错,只是说得没那么满了。这跟"校准"是反方向的两回事。
背景补一笔:MIR 2026 的另一半画面(edumed,Murcia 大学)——GPT-5.2 高努力 199/200(99.5%),Gemini 3 Flash 198/200,备考老师 194/200(97%),平均考生 131/200(65.7%)。商业闭源刷满分,开放模型排中游;排名前 600 到 3,000 听着寒碜,对照平均考生的 65.7% 才看得懂位置——也才看得出"考试"这个尺子已经饱和,该换尺子了。还有个细节:这三名开模型考生还有 41 到 43 个专科方向可选,意思是名次难看但远远没到落榜——中等生的生存空间比分数显示的大。
下一根钉子:那 13% 到 38% 的不可靠理由靠什么判的(人工阅卷还是自动判据),回方法一节就能看到;换成必须读图的影像判读题,开放模型会不会现原形;弃权策略换到 USMLE 上还成不成立,是个便宜的对照实验。
边界一条:四个开放模型、一个考场、一种语言——结论的适用面比商业模型那半窄得多。它能证明的是"开放模型在自家硬件上跑,弃权不划算、图像是摆设、理由常不可靠"这三件事,证明不了"所有医学 AI 都该这样用"。