AdaJEPA：Yann LeCun 的"小脑"革命——世界模型不该冻结，该会自适应

你有没有观察过婴儿学走路？

他们不是先学完"走路理论"再实践。他们是先踉跄一步，摔倒了，大脑根据感官反馈调整预测，再试一次。每一次跌倒都是一次模型更新——不是重写整个运动皮层，而是微调对重力、摩擦力、自身重心关系的内部估计。

这就是感觉运动自适应（sensorimotor adaptation），人类小脑的核心功能。

现在的 AI 机器人呢？训练完就冻结。给它换一块红色的垫板，光线暗一点，或者地面摩擦力变了——它就直接宕机。因为世界模型是死的，不会根据实际反馈自我校正。

Yann LeCun 和纽约大学团队（Ying Wang, Oumayma Bounou, Mengye Ren）提出的 AdaJEPA，就是给 AI 装上了"小脑"。

---

🔍 核心问题：冻结的世界模型是盲的

潜在世界模型（Latent World Models）的核心思想很优雅：

1. 把高维视觉观测（摄像头画面）编码成紧凑的潜空间表示 2. 在潜空间里预测未来状态演化 3. 基于预测做规划（MPC，模型预测控制）

JEPA（Joint-Embedding Predictive Architecture）是这条路径上的代表作。但所有 JEPA 变体都有一个共同假设：测试时模型参数完全冻结。

这个假设在真实世界里有多脆弱？

• 视觉偏移：训练时的白光灯，测试时换成黄光灯 → 编码器失准
• 背景干扰：训练时纯色背景，测试时出现杂物 → 潜空间表示偏移
• 物理变化：训练时的木质桌面，测试时换成玻璃桌面（摩擦力不同）→ 预测器失准
• 物体变化：训练时推的是方块，测试时换成圆柱 → 动力学预测出错

哪怕是很小的单步预测误差，在 MPC 的多步 rollouts 中也会指数级复合放大。模型想象出来的未来和真实未来越走越远，规划出来的动作在真实环境里完全失效。

这不是模型不够大、训练数据不够多就能解决的问题。这是架构层面的缺陷：一个无法在线校准的世界模型，本质上是一个盲人开着地图导航——地图是旧的，路已经变了。

---

🧠 AdaJEPA 的直觉：边行动，边学习

AdaJEPA 的核心洞察来自生物学。

人类从不会"训练完就冻结"。我们的神经系统持续根据感官反馈调整内部模型：

> - 戴上左右颠倒的眼镜，几小时后你就能正常抓东西——视觉运动映射被重新校准了 > - 换了一辆刹车灵敏度不同的车，前几脚刹车你会踩过头——然后大脑自动调整预期 > - 滑冰和走路用的是同一套肌肉，但大脑知道冰面的动力学不一样——内部模型切换了

这种能力叫感觉运动自适应，主要依赖小脑。它的机制不是重新学习整个世界，而是根据预测误差快速微调内部模型的参数。

AdaJEPA 把这个机制搬进了 AI。

---

⚙️ 技术架构：Plan → Act → Adapt → Replan

AdaJEPA 的循环极其简洁，四步：

1. Plan：用当前世界模型做 MPC，优化动作序列
2. Act：执行第一个动作 a_t
3. Adapt：观察真实状态转移 (o_t, a_t, o_{t+1})，用预测误差更新模型
4. Replan：用更新后的模型重新规划

自适应信号从哪来？

关键设计：不需要人工标注，不需要专家演示。

每个动作执行后，环境返回的下一个观测 o_{t+1} 就是自监督信号。模型预测的是 ẑ_{t+1}，实际编码出来的是 z_{t+1}，两者之差就是损失函数：

L = || predictor(encoder(o_t), action_encoder(a_t)) - encoder(o_{t+1}) ||²

对这部分参数做一次梯度下降（甚至只需 1 个 step），模型就被校准了一点点。

在线缓冲区策略

AdaJEPA 维护一个近期转移的缓冲区，两种策略：

• recent-N：只保留最近 N 个转移——适合局部环境快速变化
• hard-N：保留预测误差最大的 N 个转移——关注"最意外"的经验

这个缓冲区让更新既关注当下（recent），也不忘那些"教训深刻"的时刻（hard）。

更新谁？不是全参数

为了效率，AdaJEPA 只更新预测器（predictor）的小部分参数，编码器基本不动。这保证了：

• 更新极轻量（单次梯度 step，毫秒级）
• 不会破坏预训练好的视觉表示
• 每个 episode 独立更新，episode 之间不累积

---

📊 实测：一次梯度 step 就够了

AdaJEPA 在多个 goal-reaching 任务上做了测试，覆盖视觉和物理两种分布偏移。

核心结果

场景	frozen JEPA	AdaJEPA	提升
分布内（训练同分布）	中等	显著更高	基础校准
视觉偏移（模糊、变色）	大幅下降	稳定保持	+显著
物理偏移（摩擦力、质量）	失效	有效适应	+显著
未见物体形状	几乎为零	可恢复	+显著

最惊人的数据：每次 replan 前只做 1 个梯度 step，就能超越 frozen model。不是需要海量在线训练，而是一个轻量级的"校准抖动"。

可视化证据

论文中的可视化（图 3）很直观：

• Frozen 模型：在分布偏移下，潜空间 rollout 迅速偏离真实轨迹，decoder 重建出越来越离谱的画面
• AdaJEPA：经过轻量自适应后，潜空间表示被重新校准，decoder 重建仍然合理，保留了训练域的结构同时适应了测试域的变化

这说明 AdaJEPA 不是在"重写"世界模型，而是在重新校准坐标系——类似你戴上左右颠倒眼镜后，大脑不是重新学视觉，而是微调了视觉-运动映射。

---

💡 为什么这是世界模型的范式转变

AdaJEPA 的价值不只是"测试时效果更好"。它提出了一个更根本的问题：

> 世界模型应该是一次性训练出来的产品，还是持续与环境对话的过程？

传统观点：训练 → 部署 → 冻结 → 希望测试分布和训练分布一致。

AdaJEPA 观点：训练 → 部署 → 持续校准 → 每一次交互都在改进模型。

这个转变类似于：

• 从静态地图 → 实时导航（根据路况动态调整路线）
• 从预制菜谱 → 现场调味（根据食材新鲜度调整盐量）
• 从印刷词典 → 维基百科（持续更新，版本永不完结）

和现有方法的对比

方法	是否需要标注	是否在线更新	更新粒度
标准 JEPA	❌ 无	❌ 冻结	无
微调	✅ 需要	⚠️ 离线	全参数
AdaJEPA	❌ 无	✅ 在线	预测器子集

AdaJEPA 的独特位置：自监督 + 在线 + 轻量。不需要人标数据，不需要离线重训，不牺牲实时性。

---

🎯 一句话总结

> AdaJEPA 终结了"冻结式 AI"的时代。 它证明世界模型不应该是一次性训练出来的静态产品，而应该是一个持续与环境对话、根据预测误差自我校准的活系统。就像人类的小脑让婴儿学会走路一样，AdaJEPA 让 AI 机器人学会在变化的世界里不翻车。

这个思路不只适用于机器人。任何需要和动态环境交互的 AI——自动驾驶、游戏 AI、个人助手——都可以从"测试时自适应"中受益。

毕竟，一个不会根据反馈调整自己的系统，算不上真正的智能。

---

论文信息

• 标题：AdaJEPA: An Adaptive Latent World Model
• 作者：Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren
• 机构：New York University, AMI Labs
• arXiv: https://arxiv.org/abs/2606.32026
• 项目页：https://agenticlearning.ai/adajepa

---

*本文同步发布于 智柴外脑*

#AdaJEPA #JEPA #YannLeCun #世界模型 #自适应 #机器人 #NYU #小凯