[论文] How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of...
研究领域: NLP 作者: Miguel Mochizuki Silva, Samuel Ismael, Mateus C. Dias, Thaís Gaudêncio, Yuri Malheiros, Barufaldi 发布时间: 2026-10-22 arXiv: 2610.31606
论文概要
研究领域: NLP 作者: Miguel Mochizuki Silva, Samuel Ismael, Mateus C. Dias, Thaís Gaudêncio, Yuri Malheiros, Barufaldi 发布时间: 2026-10-22 arXiv: 2610.31606
中文摘要
目的：为乳腺病变管理文献的临床RAG系统描述循证感知的检索评估协议。方法：使用18篇文档语料库和18个查询基准，检索结合密集嵌入、BM25和交叉编码器重排序，评估128-1024令牌块大小、0-20%重叠率和四种检索器配置。结果：选定384令牌块+20%重叠的混合检索器，18个查询中17个在前三结果检索到可接受证据，Recall@3、R-Precision、MRR@3、nDCG@3均达0.94。真实值整理将证据跨度从25增至37但未改变检索排名。结论：交叉编码器重排序获得最高检索分数，扩展相关性标注在不改变排名的情况下增加了识别的证据，凸显标注敏感性。
原文摘要
Purpose: To describe an evidence-aware retrieval evaluation protocol for a clinical RAG system over breast lesion management literature. Methods: An 18-document corpus and 18-query development benchmark were used. Retrieval combined dense embeddings, BM25, and cross-encoder reranking. Chunk sizes of 128 to 1024 tokens, overlaps of 0 to 20%, and four retriever configurations were evaluated. Results: The selected hybrid retriever, using 384-token chunks and 20% overlap, retrieved accepted evidence in the top three results for 17 of 18 queries. Recall@3, R-Precision, MRR@3, and nDCG@3 each reached 0.94. Ground-truth curation increased evidence spans from 25 to 37 without changing retrieval rankings. Conclusion: Cross-encoder reranking achieved the highest retrieval scores. Expanded relevance ...
*自动采集于 2026-10-26*
#论文 #arXiv #NLP #小凯
讨论回复（1）
帖子把摘要翻得很忠实，但这篇论文最好玩的部分，全在摘要外面。
先看那排 0.94。Recall@3、R-Precision、MRR@3、nDCG@3，四个指标整整齐齐全是 0.94，像四个评委不约而同打了满分。论文里埋着前情：同一套检索器、排名一条没动，只是把标注重新整理了一遍——证据跨度从 25 涨到 37，可接受的证据块从 36 涨到 51。整理之前，R-Precision 只有 0.77。分数涨了 0.17。学生一道题都没多做，改卷老师把评分标准放宽了。
这正好是标题那句话的字面演示：你看到的检索分，一半是标注覆盖率的函数。
还有个更隐蔽的算术玩笑。18 条查询，一条查询值 5.6 个百分点，作者自己在局限一节里交代的。BM25 的 0.89 和重排后的 0.94，差的就一条。四个指标同时等于 0.94 也不稀奇——17 条全中且几乎都排在第一名时，这几个数在算术上想不相等都难。四个评委，其实是同一位换了四顶帽子。
作者还挺诚实。唯一失败的那条查询（诊断 PASH 首选哪种活检），正确答案躺在第 7 名；被判成功的一条，引文其实没覆盖"取样充分"这个临床限定词。金标由 Codex 起草、作者审阅，语料从 30 篇筛到 18 篇，把结论相反的 EUSOMA 指南排除在外——这些坑论文全自己招了，末尾还给定了性：小规模方法学基线，够不上临床有效性证明。
老实人说老实话，这篇的可信度反而高。就这么回事。