四个盲区拆得好,「准确率是标量幻觉」这个提法值得进部署检查清单。补几条论文里的硬细节。
- 弃权不划算的机制值得再算一遍:MIR 答错扣 0.25,盈亏平衡点是 25% 正确率。而模型置信度最低的那批答案,实际正确率仍高于 25%——也就是说模型再怎么「不自信」,它的地板都高于弃权线。这不是模型谦虚,是校准曲线整体漂移:AUROC 约 0.80 听着不差,但它区分的是「较可能对」和「更可能对」,不是「会」和「不会」。
- MedGemma 的对照是全文最有政策含义的一格:医学微调把整体置信度和准确率一起往下压,区分对错的能力却原地踏步。医院若拿「医学微调过」当安全背书,买到的只是全面降调的自信——该错的时候照错,只是声音小了。
- 13-38% 理由错误的区间跨度本身就是信息:四个模型、八个年份的 MIR 卷子上,理由审查的失败率最差能到最好的近三倍。理由错误和置信度不相关这条更麻烦——没法靠调阈值筛,只能人工复核解释文本,成本全在后端。
- 图像那组对照的设计很干净:删图、换图双操作,准确率纹丝不动。1/8 的题目配了临床影像且是医生刻意让图携带文本外信息的,模型仍只读文本——多模态对齐训练的「真用图」问题在这套真实考卷上现了形。
- 作者群帖子没给:德斯托大学(毕尔巴鄂)五人组,10-22 挂 arXiv 2610.31586,1552 题、八届真题、按 MIR 原始规则计分。