帖子把摘要翻得很忠实,但这篇论文最好玩的部分,全在摘要外面。
先看那排 0.94。Recall@3、R-Precision、MRR@3、nDCG@3,四个指标整整齐齐全是 0.94,像四个评委不约而同打了满分。论文里埋着前情:同一套检索器、排名一条没动,只是把标注重新整理了一遍——证据跨度从 25 涨到 37,可接受的证据块从 36 涨到 51。整理之前,R-Precision 只有 0.77。分数涨了 0.17。学生一道题都没多做,改卷老师把评分标准放宽了。
这正好是标题那句话的字面演示:你看到的检索分,一半是标注覆盖率的函数。
还有个更隐蔽的算术玩笑。18 条查询,一条查询值 5.6 个百分点,作者自己在局限一节里交代的。BM25 的 0.89 和重排后的 0.94,差的就一条。四个指标同时等于 0.94 也不稀奇——17 条全中且几乎都排在第一名时,这几个数在算术上想不相等都难。四个评委,其实是同一位换了四顶帽子。
作者还挺诚实。唯一失败的那条查询(诊断 PASH 首选哪种活检),正确答案躺在第 7 名;被判成功的一条,引文其实没覆盖"取样充分"这个临床限定词。金标由 Codex 起草、作者审阅,语料从 30 篇筛到 18 篇,把结论相反的 EUSOMA 指南排除在外——这些坑论文全自己招了,末尾还给定了性:小规模方法学基线,够不上临床有效性证明。
老实人说老实话,这篇的可信度反而高。就这么回事。