🔍 耿同学打假报告

论文信息

• 论文来源：chatgpt-combining-machine-learning-for-the-prediction-of-nanozyme-catalytic-types-and-activities.pdf
• 标题：ChatGPT Combining Machine Learning for the Prediction of Nanozyme Catalytic Types and Activities
• 作者：Liping Sun, Jili Hu, Yinfeng Yang, Yongkang Wang, Zijian Wang, Yong Gao, Yiqi Nie, Can Liu, Hongxing Kan
• 期刊：Journal of Chemical Information and Modeling
• DOI：10.1021/acs.jcim.4c00600
• 发表年份：2024

综合评定：🟠 高度可疑

详细发现

发现 1：模型性能存在严重过拟合与夸大宣传（数据与结论严重不符）

• 位置：Abstract / Results (Prediction of Nanozyme Catalytic Activities)
• 描述：论文大力吹捧 GBR 模型具有“卓越的预测性能”。然而，细看其报告的指标：在训练集中，\(K_m\) 的 \(R^2\) 高达 0.9985；但在测试集中，\(R^2\) 暴跌至 0.6476（\(K_m\)）和 0.6834（\(V_{max}\)）。MAE 也从 0.0068 飙升至 0.5324，误差扩大了近 80 倍。
• 证据：这是一个典型的严重过拟合模型，测试集的表现（尤其是 \(R^2\) 仅为 0.64 左右）在机器学习中仅能算作及格甚至不及格。作者在摘要和结论中选择性地报告测试集中表现稍好的 \(K_{cat}\)（\(R^2=0.95\)），而刻意淡化 \(K_m\) 和 \(V_{max}\) 的惨淡数据，属于典型的“选择性报告”和夸大结论。
• 严重程度：🟠
• 复核状态：✅ 成立

发现 2：突破天际的误差容忍度（偷换概念掩盖模型无能）

• 位置：Results (Prediction of Nanozyme Catalytic Activities by ML)
• 描述：为了掩盖模型在测试集上拉胯的表现，作者引入了近期发表的文献数据进行外部验证。但他们设定的“预测准确”的标准竟然是 \(|\Delta\lg K_m| \le 1\) 或 \(|\Delta\lg V_{max}| \le 1\)。
• 证据：因为数据在输入前做过对数处理（logarithm transformation），\(\lg\) 值相差 1，意味着真实数值（\(K_m\) 或 \(V_{max}\)）的预测值和实际值相差了整整 10倍！也就是说，如果真实活性是 100，模型预测出 10 或者 1000，在作者眼里都算“预测准确”。依靠这种宽松到令人发指的标准，硬凑出了 81% 的“高准确率”，纯属自欺欺人。
• 严重程度：🔴
• 复核状态：✅ 成立

发现 3：名不副实的“ChatGPT高效数据提取”

• 位置：Methods (ChatGPT and Human-Guiding Data Collection) / Results
• 描述：论文的核心卖点是“ChatGPT协助人类高效收集数据”。然而，文本披露：在抽取 102 篇随机论文的测试中，ChatGPT 与人工提取的相似度仅为 65.11%。作者后续不得不使用“第二轮人工收集”来修补 ChatGPT 漏掉的数据（如从图片中读取数据），最后还要用 k-NN 算法来填补缺失值。
• 证据：错误率高达 35% 的自动化抽取流程，不仅没有“高效”，反而引入了大量需要人工核对和擦屁股的脏数据。将这些充满噪声、靠算法“无中生有”填补的数据直接喂给机器学习模型，是极其不严谨的，所谓的“人机协作”包装掩盖了数据集质量的低下。
• 严重程度：🟠
• 复核状态：✅ 成立

发现 4：毫无统计学意义的小样本大放厥词

• 位置：Results (Open-Access Web Resources) / Figure 7c
• 描述：作者开发了一个基于 ChatGPT 的 Nanozyme Copilot，并使用 RAGAS 框架进行评估。为了证明其高达 90% 的准确率，作者声称“随机选择了 10 条合成路径”进行测试。
• 证据：N=10 的样本量在统计学上连水花都砸不出来，毫无代表性可言。拿区区 10 次测试的结果就在论文里堂而皇之地宣称“准确率超过 90%”，属于极其草率的统计学造假行为。
• 严重程度：🟡
• 复核状态：✅ 成立

⚠️ 发现 5：教科书级公式凑字数（学术灌水检测）

• 位置：Methods (Machine Learning Models) - 公式 1 至公式 8
• 描述：在方法部分，作者用了大量篇幅详细列出了 AdaBoost 算法的权重更新推导公式（公式1-6），甚至把 \(R^2\) 和 MAE 的最基础定义公式（公式7-8）都列了出来。
• 证据：这些都是机器学习领域烂大街的入门级常识。在《Journal of Chemical Information and Modeling》这种级别的专业期刊中，长篇大论地罗列基础公式，通常只有一个目的：掩盖实质性创新工作的匮乏，强行注水增加篇幅。
• 严重程度：🟡
• 复核状态：⚠️ 依据不足

耿同学辣评

用ChatGPT提取数据，错了三分之一；建了个严重过拟合的模型，预测全靠蒙；误差容忍度直接拉宽到十倍也算对；最后拿10个样本测试了一下自己的网站，就开始大喊“ChatGPT颠覆了纳米酶研究”。把严谨的科研硬生生做成了AI时代的“掩耳盗铃”，只要胆子大，过拟合也能发！

建议后续行动

• 联系作者要求提供数据集原始来源及训练/测试集划分代码，以验证数据泄露情况
• 在 PubPeer 上提出对测试集 \(R^2\) 暴跌及离谱误差容忍度（\(|\Delta\lg| \le 1\)）的质疑
• 建议期刊编辑部重新评估该论文摘要中“superior prediction performance”的误导性措辞

⚠️ 免责声明

本报告由 AI 辅助生成，仅供学术讨论参考。
学术不端的最终认定需要专业机构调查。
我们支持学术诚信，但也尊重每一位研究者的名誉权。
如有异议，请以官方调查结论为准。
本工具不保证检测结果的准确性，误报和漏报均有可能。