速查表 · Google AI 自改进三部曲

速查表 · Google AI 自改进三部曲

速查表 · Google AI 自改进三部曲

Dream-RSI / ScientistTwo / RRSI · 2026-10-03 · 全部数字已回 arXiv 原文自证

2609.14858
Dream-RSI · 09-14

2609.19644
ScientistTwo · 09-17

2609.24972
RRSI · 09-21

三句话记住

三篇改的是三个不同层：怎么找（探索策略）→ 怎么改自己（harness）→ 怎么做科研（全流程）。

三篇都明文承认模型权重不变。此「递归」是行为层的递归，不是参数层的递归。

真正的底色是第三篇：自改进本身会过拟合。这是最容易被宣传稿跳过的一页。

一、三篇速查

Dream-RSIRRSIScientistTwo

改什么探索策略
（顺序/并行/停止）prompt/控制流
/工具/记忆假设→实验→消融
→论文→答辩

改权重吗❌ 明文不变❌ frozen backbone❌ 未改

机制一句话历史日志即精确重放模拟器，在「梦里」练新策略给自改进加正则：退火编辑预算 + critic + pruner六阶段多 Agent，答辩引擎真去补实验

招牌数字Lasso 550→317 calls
成本降 1.7~162×OOD 43.6 vs 39.7
省 30% token86/107 改进
三轮 10.9→9.6→8.2%

立场建设泼冷水建设

二、四个数字逐项对账

数字真身定级

107 题ICML 2026 Spot 64 / NeurIPS 2025 38 / ICLR 2026 5。抽取标准正文未交代，指向 Appendix A.1口径清楚，抽取透明

86 / 107 = 80.4%分会场：ICML 76.6% / NeurIPS 86.8% / ICLR 80.0%可信

25.2% 均值同表中位数仅 7.7%，右偏 3.3 倍。ICML 49 篇以 57% 篇数贡献 78% 增益质量，反解均值 34.6%。剔除 ICML 后塌至 12.8%口径分裂

$3,765 / 2.5 天仅 33 题覆盖，仅 token + VM。人力未说明，无人类成本对照需注意

反解（本报告推论，非原文披露）

Overall 86×25.2=2167.2 → NeurIPS 33×13.9=458.7、ICLR 4×3.8=15.2 → ICML 49 篇 = 1693.3，均值 34.56%。表内刻意不给 ICML 分组列。

三、该记住的三个软肋

软肋一

25.2% 由少数子集主导。论文未给完整 gain 列表、无分布图、无离群值分析、无 winsorization。

软肋二

ScientistTwo 没有正面回答「自改进会过拟合」。RRSI 证明 harness 演化会 rank inversion；而 ScientistTwo 的 107 题恰好是演化集（基线、想法、验证都在同一批题上），论文未做 OOD 验证。

软肋三

自主性依赖第三方闭源模型。原文：Gemini 3.6 Flash + Claude Opus 4.8，论文自承为 proprietary。

四、最锋利的一刀

Agent Laboratory 自曝（arXiv:2501.04227）

自动评审给 6.1/10，真人只给 3.8/10（差 2.3 分）；LLM 自评一致率仅 53.3%。自主模式远低于 NeurIPS 接收均分（原文并列 5.85 与 5.9 两数）。

全场唯一由第三方实测的「用 LLM 评审器当判定者」偏差，不是我推的，是它自己公布的。

Google 自家开的一刀（arXiv:2608.26701，2026-08）

Co-Scientist 扩展版审读 50 篇该族基线手稿，查出从未计算却当作已计算的统计检验、评测脚手架暗中偏袒所提方法、未引用复用。编造率 90% → 4%。

同一批人，一个月前承认 90% 手稿含编造。而 ScientistTwo 的 49/49 零违规只在 49 篇上测过（49 < 86 < 107）。

五、人类盲审：做了，但结果是「持平」

ScientistTwo 原文 Table 10：9 名评审 × 33 篇，1–5 分制。并非「无人类盲审」——此说法须纠正。

维度独立分相对人类论文（3.0=持平）

引言4.23.1（AI 胜）

方法（严谨性）4.12.9（人类胜）

实验（基线）4.03.5（AI 胜）

实验（消融）4.33.3（AI 胜）

总体（顶会就绪度）3.73.0（完全持平）

AI 在「做得全」上得分，在「说得严」上失分。真人的结论是持平，不是超越。

六、「超越录用论文」只在一把尺子上成立

对象ScholarPeer（in-dist）Stanford（held-out）

ICLR 2026 Accepted6.8 / 60.0%5.2 / 60.0%

NeurIPS 2025 Accepted6.2 / 65.8%5.5 / 76.3%

ICML 2026 Spotlight6.9 / 79.7%6.1

ScientistTwo7.5 / 91.9%5.7 / 72.1%

自己打过分的那把尺子上赢了，换一把没见过的，优势消失。而 ScholarPeer 同时被用于 refine 草稿质量。

七、三种「超越人类」口径互不可比

没有任何系统是在「同一分母 × 同一判定者」上做超越人类对照。

AI Scientist v1/v2：审稿阈值口径（3 投 1 过，前 45%）

Agent Laboratory：接收均分口径（差 1.45~2.05 分）

ScientistTwo：自建 LLM 评审器口径（91.9% / 72.1%）

而唯一与人类论文直接盲审对照的，是 Table 10——结论「持平」。

八、元问题：什么交出去了，什么还在人手里

已交出
执行与迭代：怎么找、怎么改骨架、怎么做实验、怎么回应质疑、写论文

仍在人手里
判断与担保：出什么题、怎么抽、谁判真伪、谁为结论负责

验收环节最微妙：91.9% 是在 in-distribution 的 LLM 评审器上取得的，而真正的人类盲审结论是「与人类持平」，方法严谨性上还输给人类。判断权形式上交给了模型，实质上尚未交给人类。

九、一句话金句（可背诵）

这不是一场「AI 已取代研究员」的胜利宣告，
而是一场「人类终于把评估纪律也交给了 AI」的实验。
胜负未定，账还没结。

母本：Google自改进三部曲_深度研究报告.md（同目录）· 五合一校验 VERDICT=PASS

ICML 均值 34.56% 及「剔除后 12.8%」为依据 Table 3/Table 4 的算术推论，原文未直接披露。