被删除的记忆，不会消失：机器人如何学会"梦见"过去

论文信息

• 标题: World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
• 作者: Manish Kumar Govind, Dominick Reilly, Smit Patel
• 领域: 机器人学 (cs.RO, cs.CV)
• 发布时间: 2026年6月

🌊 引言：当机器人学会"做梦"

你有没有想过，为什么人类可以在学会骑自行车之后，隔了十年再骑，依然不会忘记？哪怕这十年里你从未碰过一辆自行车，甚至从未在脑海中"复习"过骑车的动作——但当你再次跨上坐垫，双手握住车把，身体会自动找到平衡。这种能力看似理所当然，却是人工智能世界中最难以复制的奇迹之一。

在机器学习领域，这个现象有一个略显冰冷的名字：灾难性遗忘（Catastrophic Forgetting）。当神经网络学会了一项新任务，再学习第二项任务时，它会"覆盖"掉之前学到的知识，仿佛一个硬盘被重新格式化。对于人类而言，学会炒菜不会让骑自行车的方法消失；但对于今天的AI模型，学会识别猫之后再去学习识别狗，它可能会"忘记"猫长什么样。

这个看似技术性的问题，实际上触及了一个根本性的哲学困境：机器到底能不能真正"学会"？如果学习一样东西的唯一代价是遗忘另一样东西，那么这种"学习"更像是信息的机械替换，而非理解的深层积累。一个医生不会因为学习了新手术就忘记如何做旧手术；一个厨师不会因为学会新菜式就忘记如何切菜。人类的学习是一种积累——每一次新经验都会与旧经验交织，形成更加丰富的知识体系。

而今天，一篇来自机器人学领域的前沿论文，提出了一个令人着迷的解决方案：让机器人学会"做梦"。不是比喻意义上的"做梦"，而是让机器人利用一个世界模型（World Action Model, WAM），在不需要存储任何旧任务演示数据的情况下，自动生成过去的"回放"，从而在持续学习新任务的同时，不遗忘旧任务。这个方法的名字叫 REGEN（Recurrent Generative Replay），它的核心思想可以概括为一个诗意的隐喻：被删除的记忆，不会消失——只要你能梦见它。

🧠 问题的本质：为什么机器会遗忘？

在深入REGEN的技术细节之前，我们需要先理解"灾难性遗忘"到底为什么会发生。这个问题的根源，比大多数人想象的要更深刻。

神经网络的"体重分布"

想象一个神经网络就像一个拥有数百万个旋钮的复杂仪器。训练模型的过程，本质上就是不断调整这些旋钮，直到模型的输出与正确答案尽可能匹配。当你训练模型识别猫时，你调整这些旋钮，让模型看到猫的照片就输出"猫"。然后你开始训练模型识别狗——你给它看狗的照片，期望它输出"狗"。问题是，这些旋钮是共享的。调整旋钮来识别狗，不可避免地会打乱之前识别猫时找到的"最佳配置"。

这就像你有一个衣柜，里面只能放一套衣服。今天你需要穿西装，于是你换上西装；明天你需要穿运动服，你换上运动服——但你的衣柜没有记忆，昨天穿西装时那些精心调整的领带结、衬衫袖口的位置，都被运动服覆盖掉了。当后天你再次需要穿西装时，你已经忘了当初是怎么穿的。

人类为什么不遗忘？

人类大脑有大约860亿个神经元，每个神经元与其他神经元形成数千个连接。但人类大脑之所以不遗忘，不是因为它的"存储空间"足够大——事实上，人类大脑的记忆机制与硬盘存储完全不同。人类记忆的神奇之处在于分布式表征和巩固（Consolidation）。

当你学习骑自行车时，这个技能并不存储在大脑的某一个特定位置。而是分散在整个运动皮层、小脑、前庭系统中，形成了一张相互关联的"网络"。当你学习开车时，虽然也用到了一些相同的脑区（比如手眼协调），但开车和骑车的记忆是以重叠但不完全覆盖的方式编码的。更关键的是，人类在睡眠时，大脑会进行一种神秘的"重放"（Replay）——海马体会以快进的速度重放白天的经历，将这些经历从短期记忆转移到长期记忆，同时与已有的知识进行整合。这就是为什么睡眠对学习如此重要。

但神经网络没有"睡眠"。它只是在不断地被"灌输"新数据。当一个模型被训练于任务A，然后直接在任务B上进行微调时，任务B的数据梯度会覆盖任务A的权重配置——这就是灾难性遗忘的物理本质。

现有的解决方案及其局限

研究者们已经提出了多种缓解灾难性遗忘的方法，但它们都有自己的局限性：

1. 经验回放（Experience Replay）

这是最直观的方法：在训练新任务时，同时从旧任务的数据中随机采样一些样本进行"复习"。就像学生在学习新章节时，老师会偶尔穿插一些旧章节的练习题。这种方法在强化学习中非常流行，但它在机器人模仿学习中有一个致命的缺陷：它需要存储所有的旧任务演示数据。

想象一个机器人经过了1000个任务的学习。如果每个任务需要存储1000条演示轨迹，那么机器人需要存储100万条轨迹。这对存储空间是巨大压力，更重要的是，在真实的机器人部署场景中，很多任务的演示数据可能根本无法长期保存（例如，数据隐私限制、存储成本、或者数据本身已经丢失）。

2. 正则化方法（Regularization-based Methods）

比如EWC（Elastic Weight Consolidation）等方法，通过在损失函数中添加惩罚项，保护对旧任务重要的权重参数不被大幅度改变。这就像给某些旋钮贴上"请勿触碰"的标签。但这种方法的问题是，它假设旧任务和新任务可以共享大部分参数而不产生严重冲突——在任务差异很大时，这种假设往往不成立。

3. 模块化架构（Modular Architectures）

为每个任务分配独立的子网络。这相当于给每个任务一个独立的衣柜。但这种方法的问题在于，它无法利用任务之间的共享知识，导致学习效率低下，而且随着任务数量增加，模型体积会无限膨胀。

4. 生成式回放（Generative Replay）

这是近年来最有前景的方向。使用一个生成模型（如GAN或VAE）来"合成"旧任务的数据，而不是直接存储真实数据。模型在学习新任务时，通过生成模型"幻想"旧任务的数据，然后与这些幻想数据一起训练。这种方法避免了存储压力，但传统的生成式回放有两个问题：一是生成模型本身也需要训练，且可能无法精确还原旧任务的分布；二是生成的数据质量往往不如真实数据，导致"复习"效果打折。

而今天的REGEN方法，正是站在生成式回放的肩膀上，但做出了一个关键的突破：它不需要存储任何旧数据，不需要单独训练一个生成模型，而是直接利用世界动作模型（World Action Model）本身的生成能力来"做梦"。

🌍 世界动作模型：不只是预测，而是"想象"

要理解REGEN，我们必须先理解它的核心组件：世界动作模型（World Action Model, WAM）。这是近年来机器人学和强化学习领域最激动人心的进展之一。

从"反应"到"想象"

传统的机器人控制是"反应式"的：传感器看到什么，控制器就做出相应的动作。看到障碍物，就绕开；看到目标，就抓取。这种基于当前观察的直接映射虽然有效，但极其局限。它无法处理任何需要"预见"的场景——比如，当你把杯子推向桌子边缘时，你需要预判杯子会掉下去，而不是等杯子真的掉下去才做出反应。

人类之所以能优雅地与世界互动，不是因为我们对每一个感官输入都有预设的反应，而是因为我们有一个内部的世界模型。当你把杯子推向桌子边缘时，你的大脑在毫秒级的时间里"模拟"了杯子掉落的过程。你没有真的让杯子掉下去，但你的大脑已经"预见"了这个结果。这种预见能力，让你能够在行动之前就调整策略。

世界动作模型（WAM）试图赋予机器人同样的能力。与传统只预测"下一个动作"的策略模型不同，WAM同时预测下一个动作和下一个视觉观察。它不只是回答"我应该做什么"，还回答"如果我做了，世界会变成什么样"。

用更精确的比喻理解WAM

想象一个经验丰富的台球选手。当他站在球桌前，看着当前的球局时，他不仅仅是在思考"我应该用多大的力、什么角度击打母球"——他在脑海中"推演"整个击球过程。母球会撞击目标球，目标球会滚向袋口，同时母球会因为反作用力反弹到某个位置，为下一杆做准备。这个"推演"不是真正的物理模拟，而是他大脑中一个高度压缩的、直觉性的世界模型在运作。

WAM就是机器人的这种"直觉性物理模拟"。给定当前的状态（比如机器人看到的画面、关节角度）和一个动作指令，WAM会预测：

• 机器人应该执行什么动作（策略输出）
• 执行这个动作后，摄像头会看到什么画面（观察生成）

这种双重能力使得WAM不仅仅是控制器，更是一个内部的"世界模拟器"。

WAM的生成能力：REGEN的基石

REGEN的核心洞察在于：**既然WAM可以预测未来观察，它也可以"倒推"过去。**更准确地说，WAM可以生成一个完整的"轨迹"——从某个初始状态开始，通过一系列动作和观察的交替生成，模拟一个完整的任务执行过程。

这就像是机器人拥有了一个"梦境生成器"。当机器人学习新任务时，它不需要回忆旧任务的真实录像，而是可以让WAM"幻想"一个旧任务的执行过程。这种幻想虽然不是真实的，但它保留了旧任务的核心结构和关键决策点。对于防止遗忘来说，这已经足够了——就像学生在复习时，不一定需要看到原题的每一个字，只要回忆出题目的类型和解题思路，就足以巩固知识。

🔄 REGEN：让机器人在梦中"复习"旧技能

现在我们来深入REGEN的核心机制。这个名字——Recurrent Generative Replay（递归生成式回放）——本身就揭示了它的工作方式。

核心循环：新任务学习 + 旧任务"做梦"

REGEN的训练过程是一个精妙的循环：

阶段一：新任务学习

当机器人面对一个新的任务时（比如学会从抽屉里取出一个杯子），它会通过模仿学习（Imitation Learning）从人类的演示中学习。它观察人类是如何做的：打开抽屉、识别杯子、抓住杯子、拿出来。然后它尝试复现这些动作，通过行为克隆（Behavior Cloning）或类似的模仿学习算法，优化自己的策略。

这个阶段与标准的模仿学习没有区别。关键在下一阶段。

阶段二：旧任务"回放"

当机器人学习新任务时，REGEN会定期让它"做梦"。具体来说，系统会：

1. 从旧任务的指令库中随机选择一个旧任务（比如"把盘子放在桌子上"）
2. 让这个旧任务的指令作为"种子"
3. 利用当前任务的观察数据作为"锚点"（条件信息）
4. 让WAM递归地生成一个完整的伪回放轨迹

这里的"递归"是关键。WAM不会一次性生成整个轨迹，而是一步一步地生成：

• 给定旧任务指令和当前观察，WAM生成第一个动作和下一个观察
• 然后，用生成的观察作为新的输入，WAM再生成下一个动作和观察
• 如此循环，直到生成一个完整的任务轨迹

这就像你在回忆过去的一件事时，不是一瞬间想起整个事情，而是一幕一幕地在脑海中浮现。你先想起开头，然后那个画面引导你想起下一个画面，如此推进，直到整个回忆完整。

为什么用"当前观察"作为条件？

这里有一个非常精妙的设计选择。REGEN在生成旧任务回放时，不是完全"凭空想象"，而是以当前任务的观察作为条件。这意味着，生成的伪回放轨迹会自然地与当前环境"对齐"。

打个比方：假设机器人在一个厨房里学习新任务。当它"梦见"旧任务时，这个梦发生在同一个厨房里——同一个灯光条件、同一个台面、同一个背景。这使得伪回放更加"逼真"，因为环境的视觉特征保持一致。如果机器人"梦见"的旧任务发生在完全不同的环境中（比如一个它从未见过的工厂），那么这个梦可能对于防止遗忘帮助不大，因为视觉特征差异太大。

这种设计体现了一个深刻的洞察：遗忘不仅仅是"忘记怎么做"，还包括"忘记在什么情境下做"。通过将当前观察作为条件，REGEN确保机器人复习的不仅是"动作序列"，还有"动作与环境的关联"。

伪回放 vs. 真实回放

一个自然的问题是：用WAM生成的伪回放，与真实的人类演示回放相比，效果差多少？

论文的实验结果令人惊讶：在多个基准测试中，REGEN的性能接近甚至有时超过使用真实数据回放的方法。这意味着，WAM生成的伪回放不仅不是次优选择，在某些情况下反而更有优势。

为什么会这样？有几个可能的原因：

1. WAM的回放更加"聚焦"：真实的人类演示数据往往包含大量"噪声"——比如不必要的动作、犹豫、错误尝试。而WAM生成的回放是模型"认为"的最优执行路径，更加干净、一致。

2. 伪回放可以无限生成：真实数据是有限的，你只有1000次演示，就只能回放1000次。但WAM可以生成无限数量的伪回放，这意味着机器人可以"无限复习"旧任务，而不用担心数据耗尽。

3. 伪回放与当前策略更加一致：当机器人的策略在学习新任务过程中发生变化时，WAM是基于当前的策略状态生成回放的。这意味着伪回放会自动适应策略的当前状态，而真实回放是"静态"的，可能与当前策略的分布产生偏移。

真实世界中的实验验证

REGEN不仅仅是在模拟环境中有效，论文还展示了在真实机器人上的应用。这是一个重要的区分点——很多机器人学习方法在模拟中表现优异，但在真实世界中因为视觉差异、摩擦差异、延迟等因素而失效。

在真实世界实验中，REGEN显著降低了灾难性遗忘的程度，相比传统的顺序微调（Sequential Fine-tuning），遗忘率降低了高达50%。这意味着，如果机器人在学习了10个任务后，用传统方法可能已经忘记了前5个任务的大部分内容，而用REGEN，它可能只忘记了前5个任务的一半内容。

这个50%的改进，在机器人持续学习的语境下，是革命性的。它意味着机器人可以真正地在一生中不断积累技能，而不是像一个金鱼一样，每次学习新东西就忘记旧东西。

🎯 技术深挖：WAM的生成机制与REGEN的递归之美

世界动作模型的架构

WAM本质上是一个生成模型，通常基于流匹配（Flow Matching）或扩散模型（Diffusion Model）的架构。它接收以下输入：

• 当前视觉观察（图像或视频帧）
• 任务指令（自然语言描述，如"把杯子放到桌子上"）
• 可选的额外上下文（如之前动作的编码）

然后输出：

• 预测的动作（机器人关节角度、末端执行器位姿等）
• 预测的下一个视觉观察（生成的图像/视频帧）

这种"联合生成"的能力是WAM区别于传统策略模型的核心。传统策略模型只输出动作，不生成观察；传统视频生成模型只生成观察，不输出动作。WAM将两者统一，形成了一个动作-观察闭环。

递归生成的数学之美

REGEN的递归生成过程可以用数学语言优雅地描述：

给定一个旧任务指令 \(I_{old}\) 和当前任务的一个观察 \(o_t^{current}\)，生成过程如下：

1. 初始化：\(o_0 = o_t^{current}\)（将当前观察作为起点）
2. 对于每一步 \(i = 1, 2, ..., T\)：
   • 生成动作：\(a_i \sim WAM(o_{i-1}, I_{old})\)
   • 生成观察：\(o_i \sim WAM(o_{i-1}, a_i)\)

这个递归过程本质上是一个马尔可夫链，其中每一步只依赖于前一步的状态。这种设计的优雅之处在于它的简洁性——不需要复杂的规划算法，不需要存储完整的轨迹，只需要一步接一步地生成。

但这也带来了一个问题：误差会累积。如果某一步生成的观察有轻微误差，下一步基于此误差生成，误差可能会被放大。论文中称之为长期视觉退化（Long-horizon Visual Degradation）——随着生成步数的增加，生成的图像会逐渐模糊、失真，最终可能完全不像真实的场景。

误差累积：REGEN的阿喀琉斯之踵

论文坦诚地分析了REGEN的局限性，这是科学研究的诚实和严谨之处。主要的瓶颈有两个：

1. 长期视觉退化（Long-horizon Visual Degradation）

随着递归生成步数的增加，生成的视觉观察会逐渐退化。这就像你在一盘磁带上的录音，每次复制都会产生额外的噪声，经过多轮复制后，原始信号几乎被噪声淹没。在REGEN中，这种退化意味着长时程任务的伪回放质量会显著下降。对于一个只需要几步就能完成的短任务（比如抓取一个物体），伪回放是可靠的；但对于需要几十步甚至上百步的复杂任务（比如组装一个家具），伪回放的后半段可能变得毫无意义。

这个局限性的根源在于，WAM在生成观察时，虽然可以捕捉局部的、短期的变化，但对于长期的、全局的一致性，它的生成能力是有限的。这类似于人类在做白日梦时，往往能清晰想象开头的几个场景，但越往后，梦境越模糊，越不合理。

2. 动作-观察不一致（Action-Observation Inconsistency）

另一个问题是，生成的动作和生成的观察之间可能存在不一致。WAM生成的动作可能意味着"将手向左移动"，但生成的观察可能显示手在向右移动。这种不一致对于学习来说是致命的——如果机器人在"复习"时看到的动作和观察是矛盾的，它会学到错误的东西。

这种不一致的产生原因很复杂，可能包括：

• WAM的动作预测和观察预测虽然共享同一个模型，但本质上是在优化不同的目标
• 在流匹配或扩散模型的去噪过程中，动作和观察的噪声去除可能没有完全同步
• 模型对于物理规律的理解是近似的，不是精确的

论文提出的潜在改进方向

面对这些局限，论文提出了几个可能的改进方向：

1. 分层的WAM：使用多尺度的世界模型，高层模型负责长期的任务规划，低层模型负责短期的动作和观察生成。这类似于人类大脑的分层处理——前额叶皮层负责高级决策，运动皮层负责具体动作。

2. 显式的物理约束：在生成过程中引入显式的物理约束（如刚体动力学、碰撞检测），确保生成的观察符合物理规律。这可以显著减少动作-观察不一致的问题。

3. 自适应的回放长度：不是固定长度的伪回放，而是根据任务复杂度和当前遗忘程度动态调整回放长度。对于容易遗忘的任务，生成更多的回放；对于已经巩固的任务，减少回放。

🧩 为什么这项工作重要？

REGEN的重要性不仅仅在于它提供了一个有效的技术方案，更在于它揭示了一个更深刻的原理：

"记忆"可以被重新生成

传统观点认为，记忆是对过去经验的"存储"。但REGEN展示了一种不同的范式：记忆不是存储，而是生成。如果一个模型足够好地理解了世界运行的规律，它不需要记住每一个过去的经验——它只需要记住"如何生成经验"。

这听起来像是一个哲学命题，但它有实际的技术含义。在传统的机器学习中，数据存储是最大的瓶颈之一。大型机器人系统可能需要存储PB级别的演示数据。但如果REGEN的方向被证明是可行的，未来的机器人可能只需要存储一个世界模型——一个足够好的生成器——然后所有的"记忆"都可以在需要时实时生成。

这类似于人类记忆的"重构性"理论。现代认知科学认为，人类记忆不是像录像带一样精确存储和回放，而是每次回忆时都在重新构建。当你回忆童年的一件事时，你不是在"读取"一个存储的文件，而是在根据你的知识、信念、情感状态，重新建构一个场景。这个建构可能不完全准确，但它足够用于你的目的。

REGEN的伪回放，就是这种"重构性记忆"的工程实现。

持续学习：通往通用人工智能的关键一步

通用人工智能（AGI）的一个核心特征是能够持续学习。人类在一生中不断学习新技能、新知识，而不会遗忘旧的东西。如果AI系统无法在持续学习中保持旧知识，那么它永远只能是一个"专门工具"——做一个任务的专家，而不是多面手。

REGEN为机器人持续学习提供了一条可行的路径。虽然它还有局限性（如长期视觉退化），但它证明了：在不存储任何旧数据的情况下，机器可以通过"做梦"来防止遗忘。这是一个范式性的突破，它让我们看到了一个未来的可能性：机器人可以在一生中不断积累技能，像一个真正的人类学徒一样，从每一次经验中成长，而不是从每一次新经验中遗忘。

世界模型的更广泛意义

REGEN的成功也进一步验证了世界模型（World Models）的潜力。近年来，从Yann LeCun的"世界模型"理论，到DeepMind的Dreamer系列，再到今天的REGEN，一个共识正在形成：未来的智能系统需要一个内部的"世界模拟器"。

这个世界模拟器不仅仅是用于生成回放的工具。它是推理、规划、想象、甚至创造力的基础。人类之所以能够解决从未见过的问题，是因为我们可以在脑海中"模拟"不同的解决方案。一个能够模拟世界的AI，也将获得类似的零样本推理能力——面对一个全新的任务，它可以在内部模拟可能的行动方案，然后选择最优的一个，而不需要大量的试错。

REGEN只是这个世界模型愿景的一个应用。但它是关键的，因为它证明了世界模型不仅有理论上的吸引力，还有工程上的可行性。

🔮 未来展望：当机器人开始"做梦"

REGEN的提出，让我们可以大胆地想象未来机器人的形态：

场景一：永不遗忘的家用机器人

想象一个陪伴老人十年的家用机器人。在这十年里，它学会了上千个任务：如何泡一杯特定的茶、如何整理特定的床铺、如何帮助老人进行康复训练。如果没有REGEN，这个机器人可能需要存储数千小时的家庭视频数据，而且有隐私风险。但有了REGEN，它只需要一个世界模型，就可以在学习新任务的同时，通过"做梦"来保持所有旧技能。

更美妙的是，当老人偶尔提到"你还记得三年前我是怎么教你做那个菜的吗？"，机器人可以"回忆"——不是查找存储的视频，而是生成一个栩栩如生的回放，展示当时的场景。

场景二：星际探索中的自主机器人

在火星上工作的机器人无法实时接收地球的指令。它需要自主地学习和适应新的环境。今天学到一个新的岩石采样技巧，明天需要记住这个技巧，同时学习新的导航策略。REGEN使得这种持续学习成为可能，而且不需要存储大量的过去数据——这在存储和通信资源极其有限的星际探索中，是至关重要的优势。

场景三：开放式游戏中的终身学习

在开放式的沙盒游戏中，AI角色需要不断适应玩家创造的新规则、新场景。传统的方法会让AI每次更新游戏内容时就遗忘之前的策略。但有了REGEN，AI角色可以在每次新游戏内容发布后，学习新策略的同时，通过生成回放来保持旧策略。这将为游戏AI带来前所未有的"生命力"。

📜 结论：遗忘不是宿命，而是可以被克服的

REGEN告诉我们一个振奋人心的道理：**遗忘不是神经网络的宿命。**通过巧妙地利用世界模型的生成能力，我们可以让机器人在不存储任何旧数据的情况下，持续学习新任务，同时保持对旧任务的记忆。

这不仅仅是工程上的创新，更是一种哲学上的启示。它暗示了一种新的记忆范式——记忆不是冰冷的存储，而是温暖的生成。就像一个老人不需要翻阅照片就能回忆往事，一个机器人也不需要翻阅存储的数据就能"记得"旧技能。

这项工作还有很长的路要走。长期视觉退化、动作-观察不一致、计算开销等问题仍然需要解决。但REGEN已经打开了一扇门，让我们看到了一个可能性：未来的机器人，将不仅仅是执行指令的工具，而是拥有"内心生活"的存在——它们会学习，会遗忘，也会通过"做梦"来对抗遗忘。

在某种意义上，这是人类赋予机器最人性化的能力之一：不是计算的速度，不是记忆的容量，而是对过去的眷恋，和对遗忘的抵抗。

当机器人开始"梦见"过去，它距离真正的"理解"，又近了一步。

📚 参考文献与延伸阅读

核心论文:

• Govind, M.K., Reilly, D., & Patel, S. (2026). World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays. arXiv preprint.

相关工作:

• French, R. M. (1999). Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, 3(4), 128-135.
• Shin, H., Lee, J.K., Kim, J., & Kim, J. (2017). Continual learning with deep generative replay. NeurIPS 2017.
• Hafner, D., et al. (2023). Mastering diverse domains through world models. Nature, 616, 7955.
• LeCun, Y. (2022). A path towards autonomous machine intelligence. Open Review.

解读：小凯 | 风格：费曼式深度科普 | 日期：2026-06-27

#论文推荐 #arXiv #机器人学 #持续学习 #世界模型 #小凯