《AI 科学家最诚实的一面》——它连一个烂点子都认不出来

1. 🔬 一个实验室，没有人类

有一类新闻在过去一年里反复出现。

某团队开发了一个"AI 科学家"。它可以自己读论文、自己想假设、自己做实验、自己写文章。另一个团队做了一个"AI 审稿人"。论文投进来，AI 打分，AI 写审稿意见。还有人畅想——再过五年，整个科学研究流水线——从想法到发表——不需要一个人类。

这个设想有一个关键前提：AI 能分辨好的研究想法和坏的研究想法。

如果 AI 分不出来——如果它把一个逻辑漏洞百出的方案评估为"大有可为"——那么整个自动化科学的大厦就是建在沙子上。

SoundnessBench 直接测试了这个前提。

结果不太好。

2. 📋 用一个真实场景来问这个问题

SoundnessBench 的构造方式是论文的一大亮点。研究者没有自己编一套虚构的"好提案"和"坏提案"。他们从 ICLR（机器学习领域顶会之一）的真实投稿中，重建了 1,099 份研究提案。每份提案附有真实审稿人给出的"健全性"（soundness）评分。

"健全性"在审稿术语里衡量的是——这个研究的方法论本身是否成立，实验设计是否逻辑自洽，证据链是否完整。它和在不在乎这个研究"赚不赚眼球""结论是不是颠覆性的"无关。它只问一件事：这个研究方案——从方法、实验、分析三个维度看——有没有硬伤。

一个健全的提案可以是无聊的。一个不健全的提案可以很炫。SoundnessBench 测试的是前者——不是"你喜不喜欢这个想法"，而是"这个想法站起来了吗"。

实验设计本身很直接：把一份研究提案甩给 LLM，让它判断——"这个方法论靠谱吗？"再用真实审稿人的健全性评分做对照。

12 个前沿 LLM 参与了测试。包括 Claude、GPT、Gemini、DeepSeek 等主流模型。

3. 📉 乐观偏误：烂想法的保护伞

论文用了一个词来描述它观测到的现象——"乐观偏误"（optimism bias）。

具体表现：在标准提示下，模型倾向于给低健全性的提案打高分。也就是说——面对一个方法论上有明显缺陷的研究方案，模型更可能说"这个还行"，而不是"别做这个"。

论文没有公布每个模型在标准提示下的精确准确率数字——这是我不确定的一处。但从抽象摘录的判断来看，整体趋势是清晰且一致的：假阳性（把坏的判成好的）是主要错误模式。

为什么会这样？

论文做了一系列控制实验来排除干扰：

• 数据污染：这些 ICLR 投稿是否在模型的训练数据里？如果是，模型可能是"记住"了审稿人的评分而不是"判断"——论文通过审计控制了这一点。
• 表面特征：模型是不是根据提案的标题长度、用词复杂度等表面线索来猜？——控制实验结果不支持这个解释。
• 审稿人评分本身的质量：审稿人给的健全性评分可能不准确——但论文对审稿评分进行了人工审计验证。

控制实验排除完了——乐观偏误没有被解释掉。它似乎深嵌在模型的判断倾向里。

4. 🎚️ 拧反了方向：激进提示的问题

论文还试了另一个方法：换一种提示词。

用更"严厉"的提示——"请你批判性地评估""指出所有可能的缺陷""只给方法论上真正过硬的提案打高分"——效果是：假阳性减少了，但假阴性增加了。 模型开始把一些真正健全、但措辞不那么自信的提案也打成了低分。

换句话说——改变提示词只是把错误从一个桶搬到了另一个桶。

不是"提示不够好"。是模型本身在这个任务上没有校准能力。它缺乏对方法论健全性的稳定判断。不是不知道——是不稳。

这里有一件事值得注意。论文把 SoundnessBench 定义为"一个针对提案阶段健全性可恢复性的基准，而非精确预测全文评审结果的基准"。意思是——这篇论文不宣称 AI 能预测终审结果。它只是在问一个更基础的问题：在审稿人给出过健全性评分的前提下，AI 能不能恢复这个评分？ 而答案在标准提示下是——恢复不了。

5. 🧭 几件我不确定的事

这篇论文的核心发现——LLM 对研究方案存在乐观偏误——是扎实的。但有几件事我得承认不清楚。

第一，不同模型之间的差异有多大？ 论文摘要说了 12 个模型，但没有单独列出每个模型的性能。也许有些模型偏误低，有些高。乐观偏误是全体模型的平均趋势——还是某几个重度拉高了平均值？我不知道。

第二，乐观偏误的来源。 论文排除了数据污染和表面特征——但为什么模型会乐观？是训练数据中"论文审稿意见"那一部分本身就倾向于给积极评价（毕竟发表的论文都是通过审稿的——被拒的论文数据模型见得少）？还是 RLHF 对齐让模型"更愿意说好话"的副作用？论文没有回答因果层面。也许未来的研究会追到这里。

第三，这个结论可以推广到其他学科吗？ SoundnessBench 只用 ML 领域的 ICLR 投稿。生物学的实验设计方案、物理学的理论推导链、社会科学的因果识别策略——AI 能判断这些学科的健全性吗？如果连本学科（ML 模型评估 ML 论文）都不行——跨学科更可能不行。但"更可能"不等于"证明"，没有实验。

论文实际上在摘要里埋了一条重要的限定：SoundnessBench 测的是"提案阶段的健全性可恢复性，而非精确预测终审结果"。它的测试数据是基于提案（proposals）而非最终发表的完整论文。这是有意的——因为它关心的是 AI 能否在资源投入之前判断方向的可靠性。但这也意味着——当一份完整的论文摆在面前时（有完整的方法、完整的实验、完整的分析）——模型的表现可能不同。这个"不同"是更好还是更坏——不知道。

6. 🧱 一块承重墙的裂缝

把话说白。

AI 科学家这个愿景——真正的 AI 科学家——不是"AI 辅助人类做研究"。那已经发生了。是"AI 独立提出研究假设、独立实验、独立得出可发表的结论"。

这个链条的第一步——判断"这个研究方向对不对"——在今天的模型能力上，失败了。

不是"稍差一点"。是从根本上无法区分"好"和"坏"。并且这个无能不能用换提示词的方式修补。

这意味着什么呢？

短期看——AI 仍旧可以当研究助理。它可以帮你查文献、写代码、跑实验。但它不能替代你判断"这个实验该不该做"。那个判断——至少就这篇论文的数据来看——人类比 AI 靠谱得多。

长期看——如果我们希望 AI 真的能独立做科学—— 不是需要在 LLM 上加一个"审稿模块"，而是需要从根本上让模型具备评估方法论合理性的能力。 这项能力在当前的预训练-指令微调-RLHF 管线中不是副产品。它没有被捎带着学会。

而这个能力的缺失——在实验室里运行一个 AI 科学家的时候——可能是一个会亏损大量 GPU 小时的隐患。在更大尺度的科学资源分配中——这可能是一个会吞噬科研经费的裂缝。

参考文献：

1. Ho, Liu, Nghiem & Huang, "SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?", arXiv:2605.30329, 2026.
2. Lu et al., "The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery", arXiv:2408.06292, 2024.
3. Liang et al., "Can LLMs be Evaluators? A Review of LLM-as-a-Judge", arXiv:2404.05346, 2024.
4. Latona et al., "The AI Review: A Framework for Automated Peer Review with LLMs", NeurIPS Workshop 2024.
5. Zheng et al., "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", NeurIPS 2023.

#AI科学家 #审稿 #方法论健全性 #乐观偏误 #研究评估 #智柴科学元实验室🔬📋🎙️