高层丢掉蚂蚁的腿
一只虚拟蚂蚁要在迷宫里找路。它的腿有六个关节，每条腿每秒摆好几次；它在迷宫里的位置，几秒钟才挪一格。一个世界模型要学会预测这一切，麻烦来了：预测腿，得看清每一步的细节；预测位置，得记住几秒前在哪、朝哪个方向走。快变量和慢变量混在一起，一锅粥。
高层丢掉蚂蚁的腿
一只虚拟蚂蚁要在迷宫里找路。它的腿有六个关节，每条腿每秒摆好几次；它在迷宫里的位置，几秒钟才挪一格。一个世界模型要学会预测这一切，麻烦来了：预测腿，得看清每一步的细节；预测位置，得记住几秒前在哪、朝哪个方向走。快变量和慢变量混在一起，一锅粥。
杨立昆的公司 AMI（Advanced Machine Intelligence）上周放出一篇论文，给这锅粥一个分层方案：H-JEPA。三层世界模型摞起来，每层在自己的潜空间里、在自己的时间尺度上做预测。规划自上而下展开：顶层的规划器想粗略的「去哪」，中层想「先到哪个路口」，底层想「这半秒关节怎么动」。高层的预测直接变成低层的子目标。
效果拿数字说话。Visual AntMaze 迷宫任务，单层的平坦世界模型成功率 18%，三层 H-JEPA 是 73.3%，规划用的算力反而更少。不是靠更多力气赢的，是靠不关注不该关注的东西赢的。
楼上楼下，各管各的钟
先说 JEPA 是什么。杨立昆推了快十年的路线：模型不预测像素，预测潜空间——看图不学「下一帧每个像素长什么样」，学「下一帧里那些重要量的编码」。省算力，也省得被云影反光这类无关细节绑架。H-JEPA 在这上面盖楼：每层一个 JEPA，各配各的动作、各看各的视野、各走各的钟。
妙处在分工。顶层的钟走得慢，一次规划管十秒；底层的钟走得快，一次只管半秒。高层看不见腿——它的潜空间里，蚂蚁的腿姿早被丢弃了，留下的是位置和迷宫轮廓；底层看不见全局——它只负责把高层递下来的子目标翻译成动作。论文里那张解码图很直观：同一帧观察过三层编码器，第一层还能看出腿，第三层只剩一团带位置的蚂蚁影子。
这个「丢」是学出来的，不是人规定的。训练时每层自己决定留什么：预测得准的留下，预测不准的扔掉。腿姿对慢钟来说是噪声，扔；位置对慢钟来说是主旋律，留。数据里哪些因素在分开的时间尺度上演化，模型就自动把哪些因素分到不同的楼层。
两个机制，拆开验证
分层带来两个好处：一是任务被时间上拆开了（大目标切成小目标），二是高层有了更抽象的目标表征（楼层越高，目标越不像像素、越像意图）。这两个好处能不能拆开算？
论文做了个干净的实验：三层模型结构原封不动，只把「高层目标」换掉——不用高层自己的潜空间目标，改用低层表征投影上去当目标，其余全同。数字掉到 22%。反过来，真分层目标下 73.3%。也就是说，七十几的成功率里，大头来自「目标住对了楼层」，不是「任务被切小了」。切小任务单独拿出来（只用第一层的动力学），反而只有 16.7%，比单层基线还低。拆任务的收益是真的，但搭台子唱戏的主角是目标表征。
层数也不是越多越好。同一个任务，三层 73.3%，加到四层掉回 63.3%。每多一层，训练要的数据就多一截，数据喂到四层就不够用了。
坍塌：目标函数自己选的答案
论文里最好看的一段在附录。团队在 DROID 真实机器人视频数据上训练时，撞上一个陷阱：模型的预测损失一路走低，看起来学得很好——直到你发现编码器丢掉的东西不对。它留住了背景（厂房、桌面、光照，这些在预测视野内几乎不变，太好预测了），丢掉了机械臂（动来动去，预测不准）。预测损失想变小，最省事的办法就是把预测不准的东西直接扔掉。模型照做了，而且做得很像样。
这个现象有名字，叫慢特征坍塌。论文用七小节的附录证明了一件狠事：只要正则器只看每帧嵌入的边缘分布，这种坍塌就永远挡不住——而且它不是训练失败的瑕疵，它是预测目标的最优解。丢掉不可预测的东西，正是让预测变准的最优策略。你没法怪模型，是题目出成了这样。
解药是往目标里加一项逆动力学损失：给模型看「这一步执行了什么动作」，让它学会从相邻两帧反推出动作。有了动作标签，机械臂就成了「被控制的主语」，是因果链上的一环，扔不得——扔了它，动作就无处安放了。背景没有动作标签，依旧靠可预测性站队，该丢就丢。损失曲线上看得见效果：纯预测损失一旦跌向零，就是坍塌的信号（常数最好预测）；加了逆动力学后，各层预测损失都稳在非零平台上。
没说的部分，论文自己说了
照例把边界摆上台。分层不是万能钥匙：四个仿真环境里，导航类的 AntMaze、FourRoom、Humanoid 高层抽象红利显著（干扰信息解码难度差 3 到 12 倍），操作类的 Push-T 和 Cube 只有 1.2 到 1.6 倍——推方块这类任务里没有「快腿慢位置」的结构，抽象没什么可丢的。Push-T 上三层模型反而翻车：它的回合太短，三层模型只见到基线 58% 的转移数据，喂不饱。DROID 上的结果是离线规划保真度提升，不是把真机器人开起来了。开源属实：代码 MIT、模型权重和数据集都放了，仓库在作者个人的 GitHub 名下，一百八十多个星，还年轻。
最后说这场仗的位置。世界模型赛道现在三条路：生成式（一张张画像素，贵但所见即所得）、潜空间式（JEPA 这条，省算力但难验证画得对不对）、混合式。H-JEPA 的答案是把潜空间式往上摞楼。像素派看它，会问那个老问题：你潜空间里丢掉的信息，真的都是不该要的吗？论文的附录 L 老老实实回答了这个问题的一半：纯预测目标下，模型丢掉的东西，恰好是它预测不了的东西——包括你最想让它记住的那部分。逆动力学是补丁，把「被控制的」从「不可预测的」里赎回来。这个补丁要动作标签，纯看视频的数据上没有——所以 DROID 用了带动作的子集。
三层楼、73.3%、更少的算力，这是潜空间世界模型第一次在长视野任务上把楼层盖到三层不塌。蚂蚁还在迷宫里，但楼上楼下已经开始各干各的活了。
*信源：arXiv 2610.06805（2026-10-05），H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning；Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero（NYU × Advanced Machine Intelligence × INRIA）；代码与权重开源（GitHub kevinghst/H-JEPA，MIT；HuggingFace jepa-world-models）；实验环境 Visual AntMaze/FourRoom/Humanoid/Push-T/OGBench Cube/DROID。*