迷宫里 18% 变 73%:分层世界模型的四个环境和一个反转
四足机器人走迷宫,走到一个岔口,该往左还是往右。这个决定看的是位置和通道。而下一秒迈哪条腿,看的是身体姿态和脚下地面。同一个机器人,同一秒钟,两件完全不同的判断,需要的信息量都不一样。
目录
🗺️ 迷宫里 18% 变 73%:LeCun 的公司交卷了
四足机器人走迷宫,走到一个岔口,该往左还是往右。这个决定看的是位置和通道。而下一秒迈哪条腿,看的是身体姿态和脚下地面。同一个机器人,同一秒钟,两件完全不同的判断,需要的信息量都不一样。
大多数世界模型用一套特征应付这两件事。走远一点就开始吃力。
10 月 5 日提交的一篇论文(arXiv:2610.06805,*H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning*)给出的做法是:干脆分层,每层自己学自己需要的东西。作者五个人,Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero。
LeCun 这个名字背后是 AMI(Advanced Machine Intelligence)。今年 3 月这家公司宣布完成 10.3 亿美元融资,投前估值 35 亿美元。论文里 Rabbat 也是作者,他是 AMI 负责世界模型的人。
🪜 每层一个 JEPA,各预测各的
JEPA 的全称是联合嵌入预测架构。LLM 通过预测下一个 token 学生成,视觉 JEPA 先把图像编码成内部表征,再预测目标部分的表征,不逐个生成像素。H-JEPA 把多个 JEPA 逐层堆叠,每一层预测的时间跨度不同,而且每层预测在自己的表征空间里。
规划是自上而下跑的。最高层优化「朝目标推进」,它预测出来的中间状态成为下一层的子目标,下层再接力细化,一直落到可执行动作。
每层配三个组件。状态编码器提取当前环境表征,最低层直接读图像,更高层基于下层表征继续抽象,动作编码器描述动作带来的变化,低层表示具体动作,高层把一段连续动作压成更粗的粒度,预测器结合当前状态和动作预测未来状态。论文实验中,相邻高层的一步对应低层的两步预测。
研究者随后去看每层到底留了什么。迷宫任务里高层逐渐弱化腿部姿态,但保留了机器人的位置信息。这正是设计想要的结果:高层丢掉快变的细节,留下慢变且和任务相关的状态。
📈 数字:18% 到 73%,而且更省算力
摘要给的对比是在 Visual AntMaze 仿真迷宫任务上,三层 H-JEPA 把成功率从 18% 提到 73%,同时用更少的规划计算量(uses less planner compute)。中文报道把这个数字写成 73.3% 对 18.0%,并补了一句:三层模型所需的规划计算量更少。
作者拿四个环境做实验,基线是 LeWorldModel(LeWM)与 HWM。摘要提到「across four simulated navigation and manipulation environments」,中文报道点出这四个是 Visual AntMaze、FourRoom Distractors、Push-T、OGBench Cube。
| 环境 | 层数表现 | 论文表述 |
|---|---|---|
| Visual AntMaze | 18% 到 73%,更少规划算力 | 摘要明确给出 |
| FourRoom Distractors | 分层优于扁平 JEPA | 摘要与报道均提及,未给数值 |
| Push-T | 两层较好,三层四层反而下降 | 摘要提及基线对比,数值未给 |
| OGBench Cube | 分层优于扁平 JEPA | 摘要与报道均提及,未给数值 |
消融方面,摘要说:「Ablations attribute these gains to both temporal decomposition and higher-level goal representations」。增益同时来自时间分解与高层的目标表征,两者都有贡献。消融后各剩多少,摘要没给。
🔧 层数不是越多越好
Push-T 是唯一被点名反向的例子。中文报道写得很清楚:Push-T 任务中两层模型表现较好,增加到三层、四层后成绩反而下降。论文自己的解释是,较短的任务轨迹可能限制了高层可用的训练数据。
这个解释合理。高层需要见过足够多的「远期轨迹」才能学到远期结构,如果任务本身三步就结束,高层学到的多半是噪声。
不过要注意,这只是论文给出的一种可能解释,摘要与报道都没有提供验证这个解释的实验。
🤖 真机还没上,只有离线数据
摘要最后一句提到 DROID:「With inverse-dynamics supervision, the approach extends to diverse real-robot videos from DROID, where hierarchy improves offline planning fidelity at lower planner compute.」
逆动力学监督,DROID 真机录像数据集,离线规划保真度提升,规划算力更低。
离线。没有真机闭环执行,没有真机成功率。摘要对这点没有任何粉饰,全文也没提真机部署。中文报道提到《科学美国人》式的行业背景时也没有补上真机数据,因为确实没有。
技术背景还有一处值得补上:H-JEPA 用 LeJEPA 里提出的 SIGReg 来约束表征分布,避免不同状态被压成同一个向量(表征坍塌)。LeWorldModel 今年把这套方法用于世界模型训练,H-JEPA 以它为最底层往上堆。
论文与预训练权重都已开源,代码可以直接加载复现。这延续了 LeCun 从 Meta 时代就坚持的开源路线。顺带一提,9 月在瑞典马尔默的 ECCV 上,他的演讲幻灯片再次出现那句建议:「如果你对人类级 AI 感兴趣,就不要研究 LLM」。有人怀疑是假的,他回复:包是真的。
⚖️ 这份研究没说的部分
- 预印本,同行评审未完成。摘要页未标评审状态。
- 四个环境里只有 Visual AntMaze 一组有可查的硬数字,其余三个环境的成功率、消融后数值、planner compute 的具体倍率都未取到。
- 全部结果来自仿真与离线评测,真机闭环结果不存在。
- Push-T 层数增加后下降的成因,论文只给了推测。
- 论文规模(14,227 KB 体积)暗示图表较多,但摘要未给参数量、训练数据量、算力开销。
📎 信源与限定
- 论文:Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero,*H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning*,arXiv:2610.06805,2026-10-05 17:53 UTC 提交,14,227 KB,cs.LG / cs.RO。
- 全部数字(18% 到 73%、更少规划算力、四环境、消融归因、DROID 离线提升、层数对应关系)取自 arXiv 摘要页原文与量子位 2026-10-10 报道。
- 73.3% 对 18.0% 与四个环境的具体名称、Push-T 层数下降的解释来自量子位报道,未在摘要页核对。
- AMI 融资 10.3 亿美元、投前估值 35 亿美元、人物分工,以及 ECCV 幻灯片事件,均为量子位报道的转述,未核到 AMI 官方公告。