语言模型当实验室预言家：RWM 用 17 万 GPU 小时实验记录预测研究 outcome

从一个尴尬的处境说起

想象你是一个 AI 研究员，面前摆着 10 个可能的实验方案。每个方案跑一次要烧掉 200 张 H100 跑一整天。你的预算只够跑 3 个。

你怎么选？

传统做法是靠直觉——"这个方案看起来合理""那个方案别人试过类似的"。但如果你手里有一本"实验档案"，记录了过去 2653 次实验的方案和结果，你能不能从中学到规律，预测下一个方案大概会涨多少点？

这就是 Wang 等人在论文《Language Models as AI Research World Models》里做的事情。他们让语言模型扮演"研究世界模型"（Research World Model, RWM），输入一个候选实验方案，输出对实验结果的预测。

核心发现：实验记录是可复用的知识

研究团队收集了 9 个研究环境（涵盖预训练、后训练、推理阶段）的 2653 条实验记录，总计 171,862 H100 GPU 小时。这些不是玩具实验，是真实的、烧了真金白银的研究记录。

关键发现分三层：

第一层：同环境预测有效。 给 RWM 看某个环境的历史实验记录，它预测该环境新实验 outcome 的 Spearman 相关性提升 +0.27。这个数字看起来不大，但在"预测实验结果"这件事上，任何能稳定超过随机猜测的方法都值钱。

第二层：跨环境知识可迁移。 这是最让人兴奋的发现。只用 OLMo3、Marin、Nanochat 三个预训练环境的经验，RWM 在 Qwen3 环境上做实验选择，选择遗憾（selection regret）降低了 78%。换句话说，在 A 实验室积累的经验，能帮你在 B 实验室做更好的决策。

第三层：知识比模型大小更重要。 在 13 个不同语言模型上的消融实验显示，给小模型喂研究知识，比换个大模型更能提升预测能力。这和"RAG 比微调更高效"的逻辑类似——知识检索的杠杆率高于参数扩张。

多轮 Autoresearch：从预测到决策

RWM 不只是预测器，更是决策器。在多轮 Autoresearch 评估中（每轮 8 个候选方案，固定预算），有研究知识的 RWM 把最优增益提升了 15.8%（同环境经验）和 11.6%（跨环境经验）。

这里有个精巧的评估指标叫 nAULC（normalized Area Under the Learning Curve），它把每条评估曲线的面积按"到达 Oracle"（假设你能完美选择最优方案）的曲线面积做归一化。nAULC = 100% 意味着你和 Oracle 一样好，nAULC = 0% 意味着你和随机选一样差。

为什么这件事重要

1. 实验记录的价值被严重低估了。 目前大多数实验室跑完实验，报告完数字，实验记录就沉睡在 log 文件里。RWM 证明这些记录是可复用的知识载体——失败实验、成功实验、中间结果都有信息量。

2. 跨环境迁移暗示存在"研究规律"。 在 OLMo3 上学到的经验能帮 Qwen3 做决策，说明不同模型的训练动态有共性。这就像物理学——水力学和空气动力学是不同领域，但底层都是流体力学。RWM 暗示可能存在"训练动力学"这种跨模型的通用规律。

3. 递归自我改进的关键拼图。 AI 研究代理能提出实验方案，但执行能力跟不上——提出方案便宜，验证方案昂贵。RWM 填补了"提出→验证"之间的鸿沟：用预测代替部分执行，在有限预算下做更好的实验选择。这是递归自我改进闭环里的关键一环。

方法的优雅之处

RWM 用的是 in-context learning——把历史实验记录作为上下文喂给语言模型，让它预测新实验的 outcome。没有微调，没有特殊架构，就是"给模型看一堆实验记录，然后问它'这个新方案会怎样'"。

这种做法的好处是：

• 零额外训练成本：直接用现成的 LM
• 可解释性：你能看到 RWM 做预测时参考了哪些历史实验
• 可扩展：新实验记录随时可以加入上下文

局限也很明显：跨环境迁移目前主要在自回归预训练这一类环境中验证过，更广泛的迁移效果有待检验。作者也提到，长期目标是训练专门的 RWM 模型，而不是只靠 in-context learning。

一个类比

RWM 做的事，和经验丰富的实验科学家的直觉很像。一个做了 20 年材料科学的教授，看到一个新的合成方案，能大致猜出"这个方案产率可能在 60% 左右，因为上次类似的条件试过"。这种直觉不是来自理论推导，而是来自大量实验经验的积累。

RWM 把这种"实验直觉"显式化了——把实验记录作为上下文，让语言模型从中提取模式，然后对新方案做预测。区别在于，人类科学家的直觉受限于个人经验，而 RWM 可以同时吸收多个实验室的经验。

诚实评价

这篇论文有几个值得注意的点：

样本量的问题。 9 个研究环境、2653 条记录，对于"研究世界模型"这个宏大目标来说，规模还偏小。跨环境迁移目前主要在预训练类环境验证，后训练和推理环境的跨环境效果如何，论文没有充分展示。

in-context learning 的天花板。 上下文窗口有限，能塞进去的实验记录数量有限。当实验记录从几千条增长到几百万条时，in-context learning 可能不够用，需要训练专门的 RWM 模型。

预测精度。 Spearman 0.27 的相关性意味着预测还有很多噪声。在"要不要花 200 张 H100 跑这个实验"这种高代价决策上，0.27 的相关性可能还不够强到让人放心依赖。

但作为一个"实验记录是可复用知识"的概念验证，这篇论文足够有说服力。它指向一个正在形成的基础设施：实验记录应该像代码仓库一样被保存、索引、复用。

论文：Language Models as AI Research World Models

相关代码：

• karpathy/autoresearch
• allenai/OLMo-core
• marin-community/marin