🔍 耿同学打假报告

论文信息

论文来源：2504.17519v1.pdf
标题：Replication and Exploration of Generative Retrieval over Dynamic Corpora
作者：Zhen Zhang, Xinyu Ma, Weiwei Sun, Pengjie Ren, Zhumin Chen, Shuaiqiang Wang, Dawei Yin, Maarten de Rijke, Zhaochun Ren
期刊/会议：SIGIR '25 (Proceedings of The 48th International ACM SIGIR Conference on Research and Development in Information Retrieval)
DOI：https://doi.org/10.1145/3726302.3730314
发表年份：2025

综合评定：🟠 高度可疑

详细发现

发现 1：文本与表格数据的数学自相矛盾（数据造假检测/引用异常）

位置：Section 6.3 (Implementation and evaluation results) 与 Table 7
描述：在正文描述中，作者信誓旦旦地声称其提出的 MDGR 模型比 SEAL 模型快："MDGR retrieves documents 3.6× faster than SEAL"。但是，核对 Table 7 中的 Latency（延迟）数据，却完全算不出这个 3.6 倍。
证据：
根据表 Table 7 的数据：
当 Tok-K = 10 时：SEAL 延迟为 619ms，MDGR 延迟为 241ms。速度提升倍数为 619 / 241 ≈ 2.57 倍。
当 Tok-K = 100 时：SEAL 延迟为 778ms，MDGR 延迟为 320ms。速度提升倍数为 778 / 320 ≈ 2.43 倍。
无论根据哪一行数据计算，都得不出 3.6 倍的结论。这种正文结论与自身实验数据严重脱节的情况，是典型的“写论文时脑补/夸大结果”或东拼西凑留下的硬伤。
严重程度：🔴（核心宣称的优势被自己的数据打脸）

发现 2：基线数据的内部逻辑冲突（数据造假检测）

位置：Table 1 / Table 2 与 Table 4（Section 5.2 Ablation study）
描述：论文在 Table 1 和 Table 2 中作为主实验展示了 SEAL 模型的性能（NQ 数据集），并在正文中明确说明 SEAL 使用的是 N-gram 类型的 DocID。然而，在 Table 4 的消融实验中，对比不同文本类型的 DocID 时，N-gram 的表现与主实验中的 SEAL 出现了极大的不合理差异。
证据：
在 Table 1 中，SEAL (N-gram) 在 NQ 数据集的初始文档集 $$D_0$$ 上的 Hit@10 为 0.809。
在 Table 4 中，N-gram 的 $$D_0$$ 得分却骤降为 0.753。
在同一个数据集、同一个评测指标下，同一个模型（SEAL就是基于N-gram的）在主图和消融图中的基线表现竟然相差近 6 个百分点！这说明作者在做实验或整理数据时，存在数据混用、不同超参数硬凑，或者直接拼凑数据表的可能。
严重程度：🟠（核心基线无法对齐，实验严谨性存疑）

发现 3：“幽灵”般的显著性检验（统计学异常检测）

位置：Section 3.4 Statistical Validation 及全篇表格
描述：作者在第 3.4 节特别强调：“All experimental results reported in Tables significance at p < 0.05.”（所有表格中的结果均具有 p<0.05 的统计学显著性）。
证据：
遍历 Table 1、Table 2 等所有表格，全篇没有任何一处报告了 p 值、t 值、F 值或标准差（SD/SE）。
更有趣的是，3.4 节这句话本身存在明显的语法缺失和复制粘贴痕迹。信息检索（IR）领域的论文通常不会强制要求汇报传统统计检验的 p 值，但作者既然“画蛇添足”写了这么一句，却又交不出任何数据支撑，这就像是套用了生物医学类论文的模板而忘记修改/补充数据，极大降低了论文的专业可信度。
严重程度：🟡（不排除套用模板导致的低级失误，但非常不严谨）

发现 4：表格表头逻辑混乱（方法学异常）

位置：Table 2
描述：Table 2 的标题写着：“Model performance on queries corresponding to the newly added document set $$D_1$$ to $$D_5$$ ”（针对新增文档集 $$D_1$$ 到 $$D_5$$ 的性能）。
证据：
既然是评估新增文档，那么表头理所应当应该只有 $$D_1$$ 到 $$D_5$$ 的数据。但是 Table 2 却强行多塞了一列 $$D_0$$ 的数据（且数值与 Table 1 中的 $$D_0$$ 数值完全一致，例如 BM25 都是 0.647）。
评估“新文档”的表格里放“旧文档”的测试集结果，这不仅违背了实验设计的逻辑，也让人怀疑作者在处理实验数据输出时，只是机械地 copy-paste 了全量数据，根本没理解每一列代表的真实物理含义。
严重程度：🟡

耿同学辣评

这篇顶着 SIGIR '25 名头的论文，数学是体育老师教的吧？正文吹着 3.6 倍加速，一看自家表格连 2.6 倍都勉强；主打一个“只要我胆子大，数据全靠嘴巴夸”。连复制粘贴时主图和消融图的基线数据都能差出 6 个百分点，最绝的是宣称了“所有结果 p<0.05 显著”，结果全篇连个 p 值的影子都没看见。这哪是做实验，这简直是在做科幻设定啊！

(注：受限于纯文本输入，本报告无法进行 Western Blot 等图片的像素级一图多用/PS拼接检测，但从数据逻辑层面已经暴露出严重的“急性造假并发症”。)

建议后续行动

联系作者（尤其是通讯作者 Zhaochun Ren）要求提供原始的运行日志，以验证 SEAL 与 MDGR 的真实运行延迟。
要求作者解释 Table 1 与 Table 4 中 N-gram 基线数值存在巨大鸿沟的原因。
在 PubPeer 上提出上述数学矛盾和统计逻辑质疑。
向 ACM SIGIR 2025 组委会或期刊编辑部举报其数据不严谨及夸大实验结论的嫌疑。

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。

Replication and Exploration of Generative Retrieval over Dynamic Corpora