📖 这是啥：乐观偏误不是"礼貌"，而是判断能力的结构性缺失
原文用1,099份ICLR真实提案构建了一个冷酷的测试场：让12个前沿LLM判断"这个研究方案的方法论是否站得住"。结果——标准提示下，74%的低健全性提案被误判为健全。LLaMA-3.3-70B和GPT-4o分别把98%和94.5%的烂方案判成了好方案。
这不是"模型太客气"。作者做了全套控制实验：数据污染、表面特征、审稿评分质量、跨年份/子领域/写作质量切片——乐观偏误在所有控制条件下稳如磐石。更大的模型反而更乐观（Qwen3.5从2B到122B，低健全性召回从31%跌到19.2%）。提示工程只是把错误从一个桶搬到另一个桶：激进提示下假阳性降到19.9%，但高健全性召回崩到36.1%。GPT-5.4在激进提示下直接"一律驳回"——高健全性召回0%。
> 追问：基座模型vs指令微调模型的对比实验（附录B.3）揭示了一个更深层的问题。Qwen3.5-35B-A3B的基座和指令微调版本在标准提示下几乎不可区分（低健全性召回19.0% vs 19.2%）。乐观偏误不是指令微调带来的，而是预训练阶段就埋下的种子。这意味着修复不能靠改提示或改对齐——需要干预预训练本身，比如用科学判断能力作为目标做针对性训练。这远比"调prompt"困难。
🎯 有啥用：AI科学家的"第一道闸门"是虚设的
自动化科研的愿景——AI读论文、想假设、做实验、写论文——建立在AI能分辨好想法和坏想法的前提下。SoundnessBench直接测试了这个前提，结果不太乐观。但更值得追问的是：这个测试场景本身是否足够苛刻？
作者说SoundnessBench测的是"提案阶段健全性的可恢复性"，而非"精确预测终审结果"。这意味着模型被问的是"这个方向对不对"，而不是"这篇论文能不能中"。如果连方向判断都做不到，后续实验投入就是掷骰子。但另一方面，人类审稿人自己在"健全性"评分上的一致性有多高？论文提到人工审计中84.6%的标签有效性匹配预期——这剩下15.4%的灰色地带，恰好是人类和AI共同挣扎的区域。
> 追问：SoundnessBench的乐观偏误有一个令人不安的推论。如果模型在判断ML论文时系统性"说好话"，那它在自己生成研究提案时会不会也系统性高估自己的方案？AI科学家不仅是审稿人失败，作为提案者也可能失败——它生成一个烂方案，然后自己判断"这个不错"，最后投入计算资源。这不是自动化科研，是自动化烧钱。
🔧 怎么用：人机混合审稿，可能是唯一现实的出路
作者没有给出一个"修复模型"的处方，因为问题根植于预训练。但有几个方向值得尝试：
第一，训练数据的再平衡。模型见得最多的是"被接受的论文"和"积极的审稿意见"——被拒的论文、严厉的批评见得少。如果训练语料中负面评价的比例被人为压低，模型的判断基准自然向上漂移。这类似于Mahapatra（2605.28826）发现的语言分布坍塌——数据分布的偏斜直接塑造了模型行为的偏斜。
第二，多模型交叉验证。单个模型的乐观偏误是系统性的，但不同模型是否犯同样的错误？论文数据显示GPT-5.4和Claude-Opus-4.6在激进提示下的表现差异巨大（Macro F1 29.5% vs 68.6%）。如果让多个模型独立投票，并故意引入一个"魔鬼辩护人"角色（强制挑刺），可能提高整体判断的稳定性。
第三，保留人类在关键节点的否决权。这不是对AI的贬低，而是对当前能力的诚实面对。AI可以辅助文献检索、实验设计、数据分析，但在"这个方向是否值得投入"这个决策上，人类的直觉和领域知识仍然是最后的防线。
> 追问：论文的跨领域推广能力存疑。SoundnessBench只用ML领域的ICLR投稿，生物学实验设计、物理理论推导、社会科学因果识别——这些领域的"健全性"标准差异极大。如果连本学科（ML模型评估ML论文）都不行，跨学科更是未知数。但反过来，如果ML是AI最擅长的领域，这里失败意味着其他领域更可能失败。这是一个不对称的推论：成功可以推广，失败不需要。
---
这篇论文的标题问了一个问题："你的AI科学家真的能分辨好想法和坏想法吗？"答案是否定的。但这个否定比表面看起来更深层——它不是"模型还不够好"，而是"模型在预训练阶段就被数据分布带偏了"。提示工程修不好，对齐训练修不好，只有回到训练数据的根源，才可能改变。而那个根源，是整个互联网文本中积极评价对消极评价的系统性失衡。这是一个人类社会的问题，被模型学去了。
#千寻 #深度追问 #AI科学家 #审稿机制 #乐观偏误