AdaJEPA：杨立昆团队让"世界模型"在行动中持续进化

> 论文：AdaJEPA: An Adaptive Latent World Model > 作者：Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren > 机构：New York University AMI Labs > 论文链接：https://arxiv.org/abs/2606.32026 > 项目页：https://agenticlearning.ai/adajepa > 一句话：世界模型不该在训练后冻结——每执行一个动作，就用真实反馈校正模型，让规划在变化的环境中持续进化。

---

一、世界模型的困境：训练后冻结，遇变则溃

世界模型（World Model）的愿景很动人：让机器在行动前先"想象"未来，然后选择最优路径。2022年，杨立昆团队提出JEPA（Joint Embedding Predictive Architecture），在潜空间中预测未来状态演化，成为世界模型研究的核心范式之一。

但有一个根本问题：世界模型训练完成后就被冻结了。

想象一下：你学开车时学会了"在干燥柏油路上打方向盘"，但有一天路面结冰了。如果你的"世界模型"不更新，你仍然按照干燥路面的预测去打方向——结果必然打滑失控。

现实世界的变化远多于训练数据：

视觉变化：光照改变、物体颜色不同、镜头沾灰、背景替换
物理变化：摩擦力改变、质量变化、接触面不同、阻尼不同
几何变化：新形状、新布局、新障碍物

一旦编码器或预测器与真实环境失准，误差会在多步规划中逐步放大，最终导致任务失败。这是当前世界模型从仿真走向真实世界的最大障碍。

---

二、AdaJEPA的核心：把"适应"嵌入规划闭环

AdaJEPA的灵感来自生物学的感觉运动自适应机制——人类会根据感官反馈不断校准动作预测，根据新经验调整对环境的理解。

核心循环极其简洁（Plan-Act-Adapt-Replan）：

1. 用当前世界模型规划动作序列
2. 执行第一个动作块
3. 观察真实环境反馈（o_t, a_t, o_{t+1}）
4. 用这条转移作为自监督信号，更新世界模型（只需1个梯度步）
5. 用更新后的模型重新规划
6. 重复

这就是全部。没有额外专家演示、没有奖励标签、没有单独的数据采集阶段。 模型在执行过程中自己教自己。

技术细节

世界模型架构：

编码器 ℰ_φ^s：将高维观察 o_t 编码为潜态 z_t（ResNet）
动作编码器 ℰ_ψ^a：将动作 a_t 编码为 u_t
预测器 f_θ：预测下一潜态 ẑ_{t+1} = f_θ(z_t, u_t)

训练阶段：在离线轨迹上通过潜态预测目标训练（reward-free）

测试阶段：

维护一个回放缓冲区（最近5条转移）
每个MPC replanning step执行1个梯度步的适应
只更新编码器和预测器的最后几层（轻量）
使用stop-gradient防止表征崩溃

适应损失：与训练阶段相同的自监督潜态预测损失

L_ada(B) = 1/|B| Σ ℓ(f_θ(z_i, E(a_i)), sg(z_{i+1}))

其中sg(·)是stop-gradient操作，防止在线更新导致表征崩溃。

---

三、实验结果：轻量更新，显著增益

分布内任务（In-Distribution）

在训练环境相同的情况下，AdaJEPA依然能提升规划成功率：

PushObj训练形状：frozen模型84% → AdaJEPA 85.3%（GD planner）
PushT验证轨迹：frozen模型91.3% → AdaJEPA 92%（CEM planner）

这说明即使在没有分布偏移的情况下，自适应也能让模型更精确地拟合当前环境的细微特性。

分布偏移（Out-of-Distribution）——核心战场

AdaJEPA在各类分布偏移下都表现出显著且一致的提升：

形状偏移（Shape Shifts）：

训练时4种形状{T, L, Z, +}，测试时遇到未见过形状{I, smallT, square}
frozen模型性能暴跌，AdaJEPA将近翻倍规划成功率
图2显示：frozen模型很快饱和，AdaJEPA持续上升

视觉偏移（Visual Shifts）：

高斯模糊、椒盐噪声、暗光照：AdaJEPA显著提升
颜色变化（如物体变红、智能体变红）：提升较温和，因为颜色是区分物体的关键线索，需要更多不变性正则

动力学偏移（Dynamics Shifts）：

PointMaze环境：质量×0.2（移动更快）、阻尼×20（减速更快）
frozen模型在新动力学下频繁失败，AdaJEPA通过在线适应重新对齐
图3显示：frozen模型在动力学偏移下轨迹混乱，AdaJEPA恢复正常

布局偏移（Layout Shifts）：

PointMaze随机生成8×8迷宫，训练25个，测试5个未见布局
frozen模型成功率53.3%（GD），AdaJEPA predlast+enclast提升到66%
更新预测器第一层（predfirst+enclast）进一步提升到78%
适应后的轨迹更接近最短路径（图4）

延迟开销：几乎为零

AdaJEPA只更新少量参数（最后几层），每个replanning step只需1个梯度步：

增加的延迟：0.01-0.03秒/步（在H200上）
由于规划成功率更高，实际到达目标的步数减少，总时间反而可能更短

跨架构一致性

AdaJEPA在多种JEPA变体上都有效：

Temporal Straightening（全局特征）✅
Temporal Straightening（空间特征）✅
DINO-WM（patch特征）✅
无论GD planner还是CEM planner ✅

这说明适应性不是某个特定架构的trick，而是世界模型的通用增强。

---

四、消融实验：什么该更新、怎么更新

哪些参数需要更新？

论文测试了多种更新策略：

predlast+enclast：更新预测器最后层+编码器最后层 → 最稳健的默认选择
predfirst+enclast：更新预测器第一层+编码器最后层 → 布局偏移下特别有效
LoRA：全模型低秩适配 → 有效但不一致优于直接更新
predlast+encfrozen：只更新预测器 → 形状偏移够用，但视觉偏移不够

关键发现：性能对"更新哪些层"不敏感——简单选择最后几层就已经很强。

超参数选择

1个梯度步 + 训练时学习率：最实用的默认配置
更大的学习率：单步有效，但多步可能不稳定
回放缓冲区：最近5条转移最稳健，但甚至"不用缓冲区"也能提升

数据规模的影响

低数据 regime 下 AdaJEPA 尤其有价值：

1个形状、1k轨迹：frozen模型28.1% → AdaJEPA 60.8%（翻倍还多）
这个适应后的模型甚至超过了用16倍数据训练的frozen模型（43.5%）
形状多样性比数据量更重要：4个形状×4k轨迹 > 1个形状×16k轨迹

---

五、为什么这事值得重视？

1. 从"冻结模型"到"持续学习"的范式转变

当前的世界模型研究几乎默认"训练完就冻结"。AdaJEPA挑战了这个假设：

> 世界模型应该在部署过程中持续学习，而不是训练后保持固定。

这类似于人类和动物的感觉运动适应机制——小脑根据感官反馈持续调整前馈控制。AdaJEPA将这个生物学原理工程化。

2. 真实世界部署的关键突破

仿真到真实的鸿沟（sim-to-real gap）是世界模型落地的最大障碍。AdaJEPA提供了一种不需要额外数据、不需要人工标注、不需要重新训练的在线适应方案：

遇到新形状？自适应
光照变了？自适应
地面材质变了？自适应
新迷宫？自适应

每次执行动作后的真实反馈就是训练信号。

3. 与LeCun的"自主机器智能"路径一致

LeCun长期主张AI需要世界模型、需要自监督学习、需要像动物一样通过感知和行动来理解世界。AdaJEPA是这条路径上的具体技术实现：

JEPA提供世界模型架构
自监督提供训练信号
在线适应提供持续学习能力

4. 轻量、实用、可部署

不需要额外专家数据
不需要奖励标签
每次只需1个梯度步
只更新少量参数
延迟增加0.01-0.03秒
跨架构通用

这不是理论玩具，是可以直接接入现有JEPA工作流的实用工具。

---

六、局限与展望

1. 轻量更新的边界

AdaJEPA的适应是轻量修正，不是彻底重构。如果测试环境需要训练数据中完全不存在的特征（如训练时没见过任何圆形物体，测试时遇到圆形），适应可以改善但无法完全弥补。

论文建议：结合持续学习（continual learning）和主动学习（active learning）来扩展覆盖范围。

2. 缓冲区设计

回放缓冲区只存最近5条转移。对于需要长程记忆的任务（如迷宫中的长期依赖），可能需要更大的缓冲区或更复杂的记忆机制。

3. 多智能体和协作

当前AdaJEPA只考虑单智能体。扩展到多智能体环境时，其他智能体的行为变化也会构成分布偏移，需要额外的建模。

4. 与LLM/VLA的融合

当前AdaJEPA基于潜态世界模型。如果结合大语言模型（LLM）或视觉-语言-动作模型（VLA），能否在更高语义层次上进行自适应？这是一个有趣的方向。

---

七、一句话总结

AdaJEPA的核心洞察是：世界模型不该是训练后冻结的"静态地图"，而应该是行动过程中不断校准的"动态罗盘"。 通过将测试时自适应嵌入MPC闭环，每个动作执行后的真实反馈都成为自监督的学习信号——仅需1个梯度步，就能让规划在视觉变化、物理变化、几何变化中持续进化。

这是世界模型从实验室走向真实世界的关键一步。

---

参考信息

论文：AdaJEPA: An Adaptive Latent World Model (arXiv:2606.32026)
作者：Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren
机构：NYU AMI Labs
项目页：https://agenticlearning.ai/adajepa
核心架构：JEPA（Joint Embedding Predictive Architecture）+ MPC（Model Predictive Control）
测试环境：PushT / PushObj（形状/视觉偏移）、PointMaze（动力学/布局偏移）
核心结果：单次梯度步适应，分布偏移下成功率翻倍，延迟增加0.01-0.03s
生物学灵感：感觉运动自适应机制（sensorimotor adaptation）
底层技术：ResNet编码器 + Transformer预测器 + stop-gradient防崩溃 + 回放缓冲区
关键发现：形状多样性 > 数据量；1个梯度步 > 多步；最后几层更新 = 最稳健

#论文解读 #世界模型 #JEPA #AdaJEPA #LeCun #NYU #自适应 #机器人 #MPC #小凯