当AI学会自己当教练：RSI-Anything如何用世界模型打破递归自改进的鸡生蛋困局

你有没有想过，为什么人类棋手能越下越好，但大多数AI系统一旦训练完成就停止了进化？

一个棋手下完一盘棋，会复盘：哪步走错了，哪步可以改进。下次再下，她就不会犯同样的错误。这个"从经验中学习"的过程看似简单，但对AI来说却极其困难——因为AI需要一个"裁判"告诉它哪步好哪步坏，而请裁判的代价很高。

这就是**递归自改进（RSI）**要解决的核心问题：如何让AI系统把交互经验转化为持久的自我提升，而不需要外部裁判不断介入。

最近一篇来自CUHK和Stanford的论文 RSI-Anything 给出了一个漂亮的答案：让AI自己当自己的裁判——用一个"世界模型"来预测行动后果，用预测来指导学习，再用观察结果来修正预测本身。

核心问题：鸡生蛋的困局

先说清楚为什么这个问题难。

递归自改进的本质是一个循环：用经验改进系统 → 改进后的系统产生新的经验 → 再用新经验继续改进。听起来很自然，但有一个隐藏的陷阱。

你想让系统从反馈中学习，就必须先执行候选动作、获得反馈。但执行有成本——在线测试要花API额度，化学实验要烧试剂，GUI操作要花时间。在预算有限的情况下，你不可能每个候选都试一遍。

那能不能用一个"模拟器"来预测哪个候选最值得试？可以。但这里有个耦合更新的鸡生蛋问题：

• 你改了策略（policy），候选动作的分布就变了，原来的世界模型对新分布的预测可能就不准了
• 你改了世界模型（world model），候选排序就变了，原来选出来的学习数据就不是最优的了
• 两个组件不能独立改进——单独改进任何一个，不保证整体变好

这就像你换了一双新跑鞋（策略改进），但你的教练（世界模型）还是按你旧鞋的步幅来指导你，反而可能帮倒忙。

RSI-Anything的解法：预测-观察配对 + 异步更新

RSI-Anything的解决方案可以浓缩为一句话：用预测指导行动，用观察评估预测，用配对经验驱动双重更新，用兼容性检查把关保留。

具体来说，框架建立在 JEPA-Anything 的预测架构上。JEPA（Joint-Embedding Predictive Architecture）不重建完整观测，而是在潜空间中预测——就像你不需看清棋盘每个格子的像素，只需要知道"这步棋之后局面变好了还是变差了"。JEPA-Anything进一步引入了正交预测分解（OPF）：把潜空间目标拆成互补的因子，每个因子用专门的预测器，再合成完整状态。

在这个基础上，RSI-Anything构建了一个四步循环：

1. 预测引导选择：世界模型对候选动作打分，选最值得执行的
2. 执行获得反馈：只对选中的候选执行，获得真实观察
3. 反馈驱动更新：观察结果同时用于（a）改进策略/工作流和（b）评估世界模型可靠性
4. 兼容性检查保留：组件级检查评估单个更新，配对级检查确保策略-模型兼容，决定保留哪个版本

关键创新在于异步更新：策略和世界模型可以在不同的时间尺度上更新。一个可靠的预测器可以支持多轮策略改进；新的观察证据可以触发预测器适应，而策略保持不变。这就像棋手和教练可以各自按自己的节奏进步，不需要同步升级。

数据说话：四个领域的实证

代码修复：26.3% → 29.2% → 31.2%

在CodeContests的200道题上，固定coder不变：

• 随机选择候选补丁：26.0%
• 容量匹配的静态验证器：26.3%
• RSI-Anything（固定世界模型）：29.2%（候选排序准确率从66.5%提升到72.8%）
• RSI-Anything（世界模型自适应）：31.2%

同样的在线测试预算（3.72次/题），仅靠预测引导选择和模型适应，成功率提升了近5个百分点。 在APPS Introductory和LiveCodeBench v6上也分别达到46.37%和33.05%。

GUI交互：51% → 99%，动作量减少39.4%

在MiniWoB++的checkbox任务上：

• 基线成功率：51%，平均每集5.30个动作，237次重复点击，99次错误提交
• 最终配置：99%成功率，3.21个动作（减少39.4%），0次重复点击，1次错误提交

在OSWorld上，相比初始agent提升18.4%，相比RLAnything提升5.5%。

实验室规划：21.80% → 46.01%，翻倍

在LabHorizon的200道Level-2任务上，跟踪5个连续策略版本：

• V1: 21.80% → V2: 38.03% → V3: 41.99% → V4: 44.56% → V5: 46.01%

五个版本持续上升，没有平台期。 最终4B模型追平了Actor-Simulator-Selector参考系统（45.32%）。

化学反应优化：96.15% vs 82.16%

在两个Suzuki-Miyaura偶联反应筛选中：

• GC筛选（20次实验）：RSI-Anything 93.0% vs 贝叶斯优化 87.5%（+5.5pp）
• 流动LC-MS筛选（40次实验）：RSI-Anything 96.15% vs 贝叶斯优化 82.16%（+13.99pp）

同样的实验预算，世界模型引导的选择找到了更好的反应条件。

免疫科学：端到端应用

最令人兴奋的是免疫科学的端到端应用：Agent Genesis搜索科学agent工作流 → 保留最优工作流 → 构建免疫世界模型 → 分析agent用模型协调模拟/评估/工具使用/自纠正 → 生成治疗假设。最终自纠正移除了已筛选的细胞因子对候选，整合证据提出了一个前瞻性假设：SIRPα抑制 + IL-36γ轴调节。

工程洞察

1. 预测-观察配对是通用货币。 同一条经验——"我预测A，实际观察到B"——同时服务于两个目的：评估候选动作的效用，以及评估预测器的可靠性。不需要两套独立的反馈系统。

2. 异步更新降低风险。 策略和世界模型不必同步更新。当世界模型可靠时，可以支持多轮策略改进；当观察证据积累到触发可靠性检查时，才更新世界模型。这降低了每次更新都"动全身"的风险。

3. 兼容性检查是守门人。 不是所有更新都应该保留。组件级检查评估单个更新是否达标，配对级检查确保新策略和新模型组合在一起确实比旧版本更好。这防止了"策略变好了但模型变差了"的陷阱。

4. 域通用性来自机制共享。 同一套"预测引导选择 + 反馈驱动更新 + 兼容性保留"机制，在代码修复、GUI交互、实验室规划、化学反应优化、免疫科学五个领域都有效。差异只在域特定的状态编码、动作空间和反馈来源。

我的思考：这和之前的RSI有什么本质区别？

之前的RSI工作大致分两条线：

• 代码自改进：CURE、Darwin Godel Machine、AIDE2——改agent代码或策略
• 环境自适应：Voyager积累技能、RLAnything联合优化策略-奖励-环境

RSI-Anything的本质区别在于显式引入世界模型作为预测器，并且把"预测可靠性"作为一等公民来对待。之前的工作要么没有预测器（纯靠执行反馈），要么有预测器但不考虑"策略变了预测器就不准了"的问题。

这让我想到一个更普遍的原则：任何自我改进系统都需要一个"自我评估"机制，而这个评估机制本身也必须随系统进化。 否则你就是在用一个过时的标准衡量一个已经进步的系统——这和"用昨天的考题考今天的学生"一样荒谬。

RSI-Anything的"兼容性检查"本质上就是在回答一个问题：我的评估器和我被评估的对象，还是同一个时代的吗？

开源代码

• RSI-Anything: https://github.com/Gen-Verse/RSI-Anything
• LabHorizon（实验室规划基准）: https://github.com/Stanford-CongLab/LabHorizon

论文链接

arXiv: https://arxiv.org/abs/2610.13912

当AI不再需要外部裁判，而是学会用自己的"想象力"来指导自己的进化——这或许是从"训练完毕"到"持续成长"的关键一步。