🔍 耿同学打假报告

论文信息

• 论文来源：2025.emnlp-main.1793.pdf
• 标题：D-RAG: Differentiable Retrieval-Augmented Generation for Knowledge Graph Question Answering
• 作者：Guangze Gao, Zixuan Li, Chunfeng Yuan, Jiawei Li, Jianzhuo Wu, Yuehao Zhang, Xiaolong Jin, Bing Li, Weiming Hu
• 期刊：Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP)
• 发表年份：2025

综合评定：🟡 存疑

详细发现

⚠️ 发现 1：图表呈现“过于完美”的可视化异常（基于视觉摘要分析）

• 位置：Figure 3 (Page 8), Figure 4 (Page 8)
• 描述：论文图片视觉分析摘要指出，Figure 3 中展示的 'Retrieval Number'（检索数量）训练曲线在 Epoch 4 之后呈现出极度平滑的线性下降；同时 Figure 4 热力图中的散点分布呈现出非常规则的几何排列。
• 证据：在实际的深度学习训练（尤其是涉及 Gumbel-Softmax 和强化采样机制）中，各项指标通常会伴随随机梯度下降产生明显的噪声波动。极度平滑的曲线和高度结构化的散点往往是绘图代码进行了强力平滑处理（如插值或滑动平均），甚至是由示意图替代了真实数据。但原文文本中未提供关于此类平滑处理的直接说明。
• 严重程度：🟡
• 复核状态：⚠️ 依据不足

发现 2：参考文献与引用格式大面积缺失/错乱

• 位置：全文 References 及正文引用（如 Introduction, Related Works 等章节）
• 描述：正文中存在大量格式残缺的引用，如 (Potdar et al., 2025;,)、(DeepSeek,;,;, 2024)、(Peng et al.,;,; He et al.,)。在参考文献列表中，多篇文献的标题被生硬截断或缺失，例如：
  • DeepSeek. 2025..（无标题）
  • Zhong Guan... 2025. tive: Exploring llm processing of graph-structured data.（标题首字母被截断）
  • OpenAI. 2024b..（无标题）
• 证据：正常的顶级会议（如 EMNLP）官方出版物极少会出现如此大面积、系统性的 BibTeX 编译错误或文本提取乱码。这通常暗示作者在提交最终版时使用了有缺陷的自动化脚本，或者该 PDF 本身是非官方的粗制乱码版/预印本拼凑版。
• 严重程度：🟠
• 复核状态：✅ 成立

发现 3：严谨的数学推导与实验数据自洽性（正面证据）

• 位置：Table 1 (Page 4), Table 7 (Appendix I.2), Table 9 (Appendix I.4)
• 描述：虽然图表绘制存在疑点，但论文核心数据呈现出极高的数学自洽性。
• 证据：
  • 正文声称：“outperforms DECAF by 3.4% in the F1 score”，核对 Table 1：80.5 (D-RAG) - 77.1 (DECAF) = 3.4%。完全吻合。
  • 正文声称：“8.0% more time than Dynamic Cascade”，核对 Table 9：74.43 / 68.92 - 1 ≈ 8.00%。完全吻合。
  • 正文声称：“8.72% and 27.82% gains in Hits@1 and F1”，核对 Table 7：97.70 - 88.98 = 8.72；78.50 - 50.68 = 27.82。分毫不差。
  • 这与典型“数据造假”论文中常常出现的算不对账、胡乱编造提升幅度的现象截然相反。
• 严重程度：✅（证明清白的正面信号）
• 复核状态：✅ 成立

发现 4：时间线逻辑一致性

• 位置：Introduction & References
• 描述：论文提到了 GPT4-o-mini (OpenAI, 2024) 和 Qwen-2-7B (Yang et al., 2024)。
• 证据：结合当前日期，GPT-4o-mini 和 Qwen-2 均在 2024 年中下旬发布，而 EMNLP 2025 完全有充足的时间将其作为基线进行对比。时间线非常合理，无“穿越使用未来试剂/模型”的现象。
• 严重程度：✅（证明清白的正面信号）
• 复核状态：✅ 成立

耿同学辣评

咱们用“耿同学六式”扒了这篇 D-RAG 论文的底裤：虽然 AI 视觉分析揪着它 Figure 3 和 Figure 4 “画得太像教科书一样完美”不放，怀疑是 P 图高手的作品；而且正文的引用格式烂得像个本科生第一次用 LaTeX，满屏的逗号和缺失的标题让人看了直皱眉头。但是！ 耿同学掏出计算器一敲，好家伙，正文吹的牛跟表格里的数据算得严丝合缝，连 8.0% 这种小数点后两位的提升都能对上账。这说明啥？说明人家可能只是用 seaborn 画图时平滑度拉满了，或者排版时喝了假酒。数据可信度其实很高，属于“图表颜值有嫌疑，但底子是个干硬活的好同志”。

建议后续行动

• 联系作者要求提供原始训练日志（TensorBoard 等），以验证 Figure 3 和 Figure 4 的散点真实性。
• （建议忽略）由于核心数值逻辑严密，暂不建议在 PubPeer 上进行打假举报。
• 建议作者重新检查并修复论文 PDF 的参考文献编译问题。

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。