当机器人学会"意外感"：一条腿断了，它自己站起来继续走

> 一个基于 DreamerV3 世界模型的在线持续强化学习框架，让机器人在硬件损坏或环境突变时无需人工干预，自动感知异常、切换学习模式、恢复稳定运动。

想象一下这个场景

一只机器狗正在工地上巡逻。突然，它的右后腿电机出了故障——输出功率只剩三分之一。换作传统机器人，它会立刻摔倒，然后等待维修人员赶来。

但这只机器狗没有。它先是踉跄了几步，然后……自己调整了步态，重新站稳了。整个过程不到四分钟，没有任何人按下任何按钮。

这不是科幻小说。这是德国吕贝克大学自主系统实验室（ASL）的 Fabian Domberg 和 Georg Schildbach 在 2026 年 3 月发表的最新研究成果。他们的论文《Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback》被提交至 IROS 2026，展示了一种让机器人像生物一样"感知意外、自主学习、自我修复"的完整框架。

为什么今天的机器人这么"脆"？

现在的机器人控制，本质上还是"离线训练、在线执行"的模式：

1. 在仿真器或实验室里训练一个策略（policy） 2. 把训练好的模型部署到机器人上 3. 机器人按照固定参数运行，直到坏掉

问题在于，现实世界远比训练环境复杂。一个关节的齿轮磨损、一场突如其来的雨让地面变滑、一个从未见过的障碍物——这些"分布外事件"（Out-of-Distribution, OOD）会让精心训练的策略瞬间失效。

传统的应对方式是域随机化（Domain Randomization）——在训练时故意加入各种噪声和变化，让模型"见过世面"。但这就像让一个人在健身房里练习所有可能的摔倒姿势，然后指望他在冰面上不会滑倒。终究有漏网之鱼。

Domberg 和 Schildbach 的思路完全不同：不要试图预见所有可能的变化，而是让机器人在变化发生时自己学会适应。

从神经科学偷师：生物的"意外感"

这个想法的灵感来自神经科学中的两个经典理论：

期望违背理论（Violation-of-Expectation）：生物体内有一个"内部模型"，用来预测接下来会发生什么。当预测和实际不符时，就会产生"意外感"，触发学习。
惊喜最小化理论（Minimization-of-Surprise）：生物的行为本质上是在最小化这种"意外感"——通过不断学习，让内部模型越来越准确地预测世界。

想想你第一次骑自行车的经历：你的大脑有一个"模型"——蹬踏板、车往前走。但当你第一次转弯时，车差点倒了。这个"意外"立刻触发了学习：你的大脑更新了内部模型，加入了"转弯时身体要倾斜"这个新知识。

Domberg 和 Schildbach 的问题是：能不能把这个机制移植到机器人身上？

答案是可以，而且他们找到了一个现成的"内部模型"——DreamerV3 的世界模型。

DreamerV3：机器人的"内部世界"

DreamerV3 是 Danijar Hafner 等人在 2025 年发表在 Nature 上的世界模型算法。它的核心思想是：

> 不要让机器人在真实环境里试错（太慢、太贵、太危险），而是先学一个"世界的缩影"——世界模型，然后在里面"做梦"（想象）来训练策略。

具体来说，DreamerV3 包含三个关键组件：

1. 世界模型（World Model）：一个循环状态空间模型（RSSM），接收当前观测和动作，预测下一个状态、奖励和观测值 2. Actor（演员）：根据世界模型的"梦境"来学习最优策略 3. Critic（评论家）：评估当前状态的价值，指导 Actor 的学习

用数学语言说：给定观测 $X_t$ 和动作 $a_t$，编码器将其映射到随机隐状态 $z_t$，确定性循环状态 $h_t$ 总结历史信息。世界模型通过以下方式预测未来：

$$h_t = f_\theta(h_{t-1}, z_{t-1}, a_{t-1})$$ $$z_t \sim q_\theta(z_t | h_t, X_t)$$

然后在隐空间中进行多步展开（$n=15$ 步），生成想象的轨迹来训练策略。

关键洞察来了：如果世界模型训练得好，它应该能准确预测"正常"情况下的未来。当出现异常时，预测就会出错。 这个"预测误差"，就是机器人的"意外感"。

三步走：感知、切换、修复

整个框架的工作流程可以概括为三个步骤：

第一步：感知异常——预测残差监控

在策略执行阶段，世界模型持续预测未来 15 步的观测和奖励。系统计算两个关键指标：

观测预测残差（OPR）：预测观测与实际观测的平均绝对误差

$$e_{\text{obs}_{t,x}} = \frac{1}{n}\sum_{i=1}^{n}|\hat{x}_{t+i} - x_{t+i}|$$

奖励预测残差（RPR）：预测奖励与实际奖励的平均绝对误差

$$e_{\text{rew}_{t}} = \frac{1}{n}\sum_{i=1}^{n}|\hat{r}_{t+i} - r_{t+i}|$$

为什么要同时监控两个？因为 RPR 可能稀疏且延迟（奖励信号不总是立即可见），而 OPR 单独使用又无法反映变化对任务性能的影响。两者结合，才能全面感知异常。

第二步：触发切换——3-Sigma 统计阈值

系统对 OPR 和 RPR 计算滚动均值和标准差。当任一指标偏离均值超过 3 个标准差（即 3-Sigma 规则）时，判定为分布外事件，自动从"执行模式"切换到"学习模式"。

3-Sigma 是统计学中的经典异常检测方法：在正态分布下，超过 3 个标准差的数据点出现的概率不到 0.3%。这意味着系统几乎不会误报，但一旦触发，就说明确实有"不正常"的事情发生了。

这就像你每天走同一条路上班，突然有一天路上多了一个大坑。你的"内部模型"（对路况的预期）瞬间被打破——这就是 3-Sigma 触发的时刻。

第三步：自律微调——自动收敛判断

切换到学习模式后，机器人继续在真实环境中运行，收集新的状态转移和奖励数据，用 DreamerV3 的标准训练循环来微调世界模型和策略。

但关键问题是：怎么知道什么时候学好了？

作者设计了一个多指标收敛判断机制，同时监控：

指标	含义	收敛信号
Dynamics Loss	世界模型预测环境动态的准确度	下降并稳定
Advantage Magnitude	策略改进信号的强度	从高位下降到低位并稳定
Value Loss	价值估计的准确性	稳定波动
OPR / RPR	预测残差	回到正常水平
Reward	任务表现	恢复到接近原始水平

注意，这些指标是相互关联的。比如，策略可能在世界模型还没学好时就"假装"收敛了（因为它的梦境太简单），或者世界模型稳定了但策略还在探索新的行为空间。只有当所有指标都指向收敛时，系统才会停止微调。

这种设计模仿了人类专家的判断方式：不是看某个指标达标一次就收工，而是看它是否持续稳定，没有异常波动或趋势。

三场硬仗：从仿真到现实

第一场：DMC Walker——概念验证

DeepMind Control Suite 的经典任务：一个二维火柴人要保持直立并向前走。

实验设置：先让 Walker 正常行走 5000 步，然后随机选择一个关节，将其齿轮比减半（模拟执行器损坏）。

结果：

损坏后奖励立即下降，RPR 飙升
系统在 不到 10,000 步（约 2 分钟模拟时间） 内检测到变化并完成适应
Walker 重新站稳，奖励恢复到接近原始水平
唯一持续波动的指标是 OPR，因为每次随机损坏的影响程度不同

第二场：ANYmal 四足机器人——工业级挑战

使用 NVIDIA Isaac Lab 高保真仿真环境，训练 ANYmal 四足机器人以指定速度和方向行走（2500 万步预训练）。

实验设置：在 9000 步时，将右后腿三个电机的速度限制降低到原来的三分之一（模拟执行器故障）。

结果：

机器人无法维持平稳运动，反复绊倒甚至摔倒
系统快速检测到奖励骤降，启动微调
平均 5000 步（约 4 分钟） 后，行走周期重新稳定
最晚的一次运行在 26,000 步时完成微调
论文还展示了一个失败案例：某些运行中指标始终不收敛，系统最终中止适应——这恰恰证明了自动收敛判断的必要性

第三场：F1Tenth 实体赛车——真刀真枪

这才是最精彩的部分。一个 1:10 比例的 F1Tenth 赛车模型，在真实实验室环境中以 20Hz 运行。

第一阶段：仿真到现实的迁移

先在仿真中训练 1000 万步
部署到真车后，OPR 立刻飙升，奖励下降
赛车变得"抖动"，频繁撞墙
约 10,000 步（8 分钟真实时间） 后行为稳定
50,000 步后，奖励恢复到仿真水平，微调结束

第二阶段：后轮穿袜子

微调完成后，在 52,000 步时给后轮穿上袜子（降低摩擦力）
奖励下降约 20%，赛车在转弯时打滑失控
有趣的是，OPR 变化不大——因为摩擦力变化主要影响角速度，被其他状态变量的平均值"稀释"了
但 RPR 敏锐地捕捉到了性能下降
策略很快学会"慢一点转弯"，奖励恢复到略低于原始水平

这个"穿袜子"的实验设计既幽默又精妙——它模拟了一个真实场景：轮胎磨损或路面条件变化。而且它揭示了一个重要发现：OPR 对某些类型的异常可能不敏感，需要 RPR 作为补充。

关键发现与洞察

1. 适应时间与变化幅度成正比

从仿真到现实（巨大变化）需要约 40,000 步，而现实中单独的摩擦力变化只需要约 10,000 步。作者认为，理论上这个方法可以适应任意程度的变化——只要给足够的时间。

2. 不保留旧知识，换来开放性

与大多数持续学习研究不同，作者故意不保留旧经验。他们的理由是：在开放世界中，任何先前的"真理"都可能被推翻。比如，赛车之前学会的"快速过弯"策略，在轮胎磨损后就变成了有害知识。

这是一个大胆的设计选择。它牺牲了对已知变化的适应效率，换来了对未知变化的通用性。

3. 自动收敛判断是可行的，但不是万能的

论文展示了通过多指标联合判断来自动终止微调是可行的。但作者也坦诚：没有一个单一的指标能完成这个任务，而且不同应用场景的"收敛标准"也不同。

比如，工业巡检机器人只需要学会走到安全区域等待维修就够了（保守策略），而火星探测车则必须持续适应，即使冒着进一步损坏的风险（激进策略）。

工程师的实用指南

如果你想把这套框架用到自己的机器人项目上，这里有几个关键参数：

参数	值	说明
DreamerV3 模型大小	Medium（12M 参数）	平衡性能和效率
预测步长 $n$	15	计算复杂度与模型误差的折中
训练比率	16	每个环境步对应 16 个训练步
异常检测阈值	3-Sigma	超过滚动均值 3 个标准差
微调缓冲区	仅使用变化后的数据	避免旧数据污染

部署建议：

先在仿真中充分训练，确保世界模型质量
部署后密切监控 OPR 和 RPR 的初始基线
对于安全关键场景，考虑加入规则级安全边界
大幅度的分布外变化可能需要更长的适应时间，提前做好预期管理

开源情况

论文中标注代码链接为 www.after-review.com/myCode——这是一个占位符，表示代码将在同行评审完成后公开。目前（2026 年 4 月）尚未发布。

不过，核心算法基于 DreamerV3（已开源），异常检测和自动微调的逻辑相对简洁，有经验的工程师完全可以基于 DreamerV3 的官方实现自行复现。

我的思考

这篇论文最打动我的不是技术细节，而是一个哲学层面的转变。

过去几十年，机器人学的主流思路是"让机器人越来越 robust"——通过更好的建模、更多的数据、更强的算力，让机器人在训练时就"准备好"面对一切。这本质上是一种静态世界观：世界是固定的，我们的任务是尽可能完整地描述它。

而 Domberg 和 Schildbach 的工作代表了一种动态世界观：世界是持续变化的，与其试图穷尽所有可能性，不如让机器人具备"在变化中学习"的能力。

这让我想到一个类比：传统方法像是在出发前背下整本地图，而新方法则是学会了"看路标"的能力。前者在已知路线上更高效，但一旦走错一步就彻底迷失；后者虽然起步慢一些，但无论走到哪里都能找到方向。

当然，这条路还很长。安全性问题（RL 在学习过程中必然犯错）、大变化的适应效率、长期技能保留——这些都是待解的难题。但正如作者所说，这代表了"迈向自主、自我改进机器人代理的基础性一步"。

也许有一天，当你的扫地机器人被电线绊住时，它不会只是傻傻地原地打转，而是会停下来"想一想"，然后学会绕过那根电线。

那将是机器人真正拥有"意外感"的时刻。

---

论文信息

标题：Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback
作者：Fabian Domberg, Georg Schildbach
机构：University of Lübeck, Autonomous Systems Lab (ASL)
发表：arXiv:2603.04029, 2026 年 3 月（提交至 IROS 2026）
链接：https://arxiv.org/abs/2603.04029
前序工作（异常检测）：arXiv:2503.02552 (IROS 2025)