Mathematical discoveries from program search with large language models
2026-06-14 18:06
🔍 耿同学打假报告
论文信息
- 论文来源:Romera-Paredes 等 - 2024 - Mathematical discoveries from program search with large language models.pdf
- 标题:Mathematical discoveries from program search with large language models
- 作者:Bernardino Romera-Paredes, Mohammadamin Barekatain, Alexander Novikov 等 (Google DeepMind 团队)
- 期刊:Nature (Vol 625)
- DOI:https://doi.org/10.1038/s41586-023-06924-6
- 发表年份:2024 (在线发表于 2023 年 12 月 14 日)
综合评定:✅ 清白
详细发现
发现 1:核心实验数据缺乏“一图多用”与“PS拼接”的生物学造假特征
- 位置:全文 Figure 1-6, Table 1
- 描述:作为一篇纯粹的计算机科学与组合数学论文,文中并未涉及湿实验生物学常见的 Western blot、流式细胞术或显微镜成像图。文中的图表(如算法流程图、代码截图、数据对比表)逻辑自洽,未发现复制粘贴、镜像翻转或边缘裁切等典型的学术不端视觉特征。
- 证据:论文以代码和数学构造为主,图表主要为辅助说明(如 Fig 1 介绍系统架构,Fig 4 展示生成代码与图论构造),无像素级重复的嫌疑。
- 严重程度:🟢 (正常)
发现 2:统计学异常检测:极其“诚实”的失败率报告
- 位置:Methods 部分鲁棒性
- 描述:造假者往往倾向于隐瞒负面结果或实验失败率,只展示完美的“成功案例”。然而,这篇论文在描述最难的 Cap Set(n=8)问题时,明确承认了极高的失败率:“在 140 次独立实验中,仅有 4 次成功发现了大小为 512 的 cap set”。
- 证据:这符合真实大语言模型(LLM)结合进化算法搜索时的随机性与高度不稳定性。如果数据是纯捏造的,造假者通常会编造一个高得多的成功率来夸大系统的强悍。
- 严重程度:🟢 (正常)
发现 3:数据自洽性与数值分布检测
- 位置:Table 1 (Online bin packing results), Fig 4a, Fig 5a
- 描述:检查表1中的性能提升数据(Fraction of excess bins),数据呈现出非常自然、非线性的递减趋势(例如 FunSearch 在 OR1 到 OR4 上分别为 5.30%, 4.19%, 3.11%, 2.47%),并非像随机数生成器捏造的那样呈现规律的等差数列。数学构造方面(如从 496 提升至 512),属于离散数学中的明确突破,易于验证且没有被夸大。
- 证据:没有发现标准差雷同、末位数字循环、或者数据点“完美到失真”的统计学红旗。
- 严重程度:🟢 (正常)
第四式:时间线与产出异常检测
- 位置:论文收发稿时间与引用文献
- 描述:站在当前日期(2026-06-14)回溯:论文于 2023 年 8 月 12 日投稿,2023 年 11 月 30 日录用。文中提到使用了基于 PaLM2 架构的 Codey 模型(Google 于 2023 年中旬发布并开放 API),时间线完全吻合,不存在“使用了未上市/未发布的未来模型”的穿越情况。
- 证据:引用的文献截止到 2023 年的预印本(如 GPT-4 技术报告等),符合 2023 年下半年的科研认知背景。
- 严重程度:🟢 (正常)
第五式:引用与方法学异常
- 位置:Code Availability 及全文
- 描述:计算机领域的造假重灾区往往是“声称开源但实际无法复现”。本文在代码可用性部分明确提供了 GitHub 开源链接,并指出了所使用的内部库。方法学描述(分布式系统、岛屿进化模型)极其详尽,甚至连每 4 小时淘汰一半表现最差的岛屿这种工程细节都做了交代,不存在方法学上的内部矛盾。
- 证据:
https://github.com/google-deepmind/funsearch真实有效,且与论文描述一致。 - 严重程度:🟢 (正常)
耿同学辣评
这篇来自 DeepMind 的 Nature 大作简直是学术界的“一股清流”。耿同学拿着六式放大镜扫了半天,连个像素点的灰度异常都没找出来——废话,人家根本不用 PS 画图,全是用真代码硬跑出来的!更难得的是,这帮大佬一点都不“护短”,直接在 Method 里坦白“跑了 140 次才成功 4 次”,这种敢于自曝其短的态度,简直狠狠打了那些满篇“完美数据”、一次跑通的“量产型”学术混子的脸。那些天天用 Excel 随机生成数据的“学术裁缝”们,真该好好学学什么叫真正的“硬核科研”。
建议后续行动
- 无需联系作者要求提供原始数据(论文已开源且逻辑完全闭环)
- 无需在 PubPeer 上提出质疑
- 无需向期刊编辑部举报
- 建议有志之士去跑一下他们开源的代码,看看能不能在算力允许的范围内复现
⚠️ 免责声明
本报告由 AI 辅助生成,仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信,但也尊重每一位研究者的名誉权。
如有异议,请以官方调查结论为准。
本工具不保证检测结果的准确性,误报和漏报均有可能。