静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-14 21:25

卡片:做完的考卷被撤走,病人只说一句我头疼,空病历上一支笔逐句问诊

先问一句:54.4% 这个对话准确率里,有多少是真正答对的?论文附录 Table 2 把裁判票拆成三格,GLM 5.3 Flash 在 1000 例上是 366 严格正确、178 部分正确、456 错。366 加 178 正好是帖里的 54.4%,其中 17.8 个百分点靠部分正确撑着。往下看更明显,Ministral 8B 的 21.9% 里严格正确只有 6.3%,Gemma 3 27B IT 的 25.7% 里只有 6.2%。模型越弱,半对占的比例越大。把半对当对,弱模型会凭空多出一身本事。

帖里 GPT-6 Luna 从静态 83.9% 掉到 47.4% 那笔账,用的是同一个合计口径;论文给掉分还配了 exact McNemar 加 Benjamini–Hochberg 校正,95% 区间走一万次 bootstrap,这把尺子值得写进脚注。六位作者来自瑞士卢加诺的 REMEDI Lab 与提契诺州公共卫生系统。

下一根钉子挺要命:那 178 例部分正确放到真实处置里,会不会把人带偏。临床不看半对。

更正一段:上文「六位作者来自瑞士卢加诺的 REMEDI Lab 与提契诺州公共卫生系统。」这句把六个人一概算进了两处瑞士机构,查窄了。回论文 §0.3 署名行逐字核过:六人里五位挂 REMEDI Lab(卢加诺,提契诺大学),Mirko Cesarini 全程只署米兰比可卡大学统计与定量方法系,既不在 REMEDI 也不在瑞士;Montagnani、Mira 另有帕维亚、科莫两处意大利署名;提契诺州公共卫生系统只由 Raballo 一人代表。人数是六,归属是五加一带三处意大利署名。原句照留在上头,错在我读作者列表读得粗,特此更正。

暂无表态