🔍 耿同学打假报告

论文信息

• 论文来源：Oh 等 - 2025 - Discovering state-of-the-art reinforcement learning algorithms.pdf
• 标题：Discovering state-of-the-art reinforcement learning algorithms
• 作者：Junhyuk Oh, Gregory Farquhar, Iurii Kemaev, Dan A. Calian, Matteo Hessel, Luisa Zintgraf, Satinder Singh, Hado van Hasselt & David Silver
• 期刊：Nature (Vol 648)
• DOI：10.1038/s41586-025-09761-x
• 发表年份：2025 (Published online: 22 October 2025)

综合评定：✅ 清白

详细发现

本报告基于“耿同学六式”对该篇《Nature》级别的计算科学（强化学习领域）论文进行了全面扫描。由于该论文属于纯计算机科学与人工智能领域，不涉及湿实验，因此第三式（Western blot/凝胶电泳图片拼接）不适用。我们将检测重点调整为：代码与数据的可重复性、消融实验的逻辑自洽性、算力与时间线的合理性，以及统计学指标的规范性。

发现 1：时间线与算力消耗的逻辑自洽性（产出异常检测）

• 位置：Methods - Implementation details
• 描述：检测论文声称的实验时间线与算力消耗是否造假。文本中提到 Disco57 使用了 1,024 个 TPUv3 核心计算了 64 小时；Disco103 使用了 2,048 个 TPUv3 核心计算了 60 小时。
• 证据：以当前日期（2026-06-14）为基准，该论文于 2024-12-11 投稿，2025-10-22 接收。Google DeepMind 拥有数以万计的 TPU 集群，在几个月内调用 2000 个 TPUv3 核心运行约 60 小时进行元学习，在工程资源上完全合理，未出现“用普通家用电脑一周内训练出大模型”这种脱离实际的算力造假。
• 严重程度：✅ 正常

发现 2：实验设置的样本量与统计学规范（统计学异常检测）

• 位置：Methods - Hyperparameters and evaluation；Figure 2 & 3
• 描述：在生物学中 n=3 可能太少，但在强化学习中，文本声称使用了 IQM（四分位距均值）这一极其严谨的 RL 基准测试指标，并明确说明了各个测试环境使用的随机种子数量（Atari、ProcGen 和 DMLab 用了 2 个，Crafter 和 NetHack 用了 3 个，Sokoban 用了 5 个），且在图表中画出了 95% 置信区间。
• 证据：作者没有掩盖小样本量的事实，也没有只挑最好的结果（没有 cherry-picking）。文本中明确引用了文献 29 (Agarwal et al., 2021) 来证明 IQM 是“在统计悬崖边缘”的可靠指标。这种主动暴露样本量并采用严谨分布统计的态度，是学术诚实的表现。
• 严重程度：✅ 正常

发现 3：消融实验的内部逻辑（数据造假检测）

• 位置：Figure 3c (Ablation study)
• 描述：检查消融实验数据是否存在随机编造的痕迹。作者在此处比较了移除不同组件后的性能下降情况。
• 证据：移除组件后性能下降的梯度非常真实且符合逻辑：完整 Disco57 (11.6) > 移除辅助预测 (10.5) > 小型智能体网络 (8.7) > 移除新发现的预测 y/z (5.0) > 使用简单的网格世界环境进行元学习 (3.4) > 移除价值函数 q (2.9)。在 RL 算法中，移除价值函数（Value function）导致算法接近瞎猜（性能断崖式下跌），完全符合强化学习的底层数学逻辑，没有出现“随便编造一个递减数列”的生硬感。
• 严重程度：✅ 正常

发现 4：代码开源与基准测试透明度（引用与方法学异常）

• 位置：Methods - Code availability；文末声明
• 描述：验证 AI 论文的“打假终极杀器”——是否开源。
• 证据：论文明确给出了 GitHub 链接（https://github.com/google-deepmind/disco_rl），不仅开源了评估代码，甚至开源了 Disco103 的元参数。同时，论文坦诚地列出了利益冲突声明（Google LLC 拥有商业利益和正在申请的专利）。这种极高程度的透明性极大地降低了造假的可能性，因为全球的研究者都可以去复现其 SOTA（当前最高水平）成绩。
• 严重程度：✅ 正常

耿同学辣评

这论文简直干净得像个新生儿的眼泪！作为一篇发在《Nature》上的纯 AI 算法文章，人家没搞Western blot那套糊弄人的图片拼接，没搞 p 值算到小数点后五位的文字游戏。耿同学拿着放大镜找了半天，结果人家不仅代码全开源、明牌交出随机种子，甚至连自己方法在某些弱项上不如 MuZero 的劣势（比如 Sokoban 测试）都大大方方写出来了。跟这帮算力充沛、数学过硬的顶级团队造假？人家根本不屑于，算力就是最好的底牌！

建议后续行动

• （无需行动）文本中未提供足够的病理/生物图片信息，且该文为计算科学论文，不存在图片操纵可能。
• （无需行动）数据与实验设计符合逻辑自洽。
• 联系作者要求提供原始数据
• 在 PubPeer 上提出质疑
• 向期刊编辑部举报

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。