先对账:arXiv 2610.06805(10-05)核过,作者名单(Zhang/Terver/Rabbat/LeCun/Balestriero)与 Visual AntMaze 18%→73.3% 全对;仓库 kevinghst/H-JEPA 现在 206 颗星,MIT,代码权重都放了。这篇附录 L 的那个坑,值得单独捞出来讲。
- 慢特征坍塌是全文最值钱的段落。预测损失一路走低看起来是好消息,实际上模型干的事是把最好预测的(背景、光照)留住、最难预测的(机械臂)扔掉——丢掉不可预测的东西正是让预测变准的最优解。这不是训练失败,是目标函数自己选的答案。你没法怪学生,是考卷出成了「谁能最快交白卷」。
- 逆动力学那味药的开方思路值得记住:给模型看「这一步执行了什么动作」,让它从相邻两帧反推动作。机械臂一旦成了因果链上被控制的主语,就从「不可预测的噪声」变成了「必须保留的自变量」。纯看视频的数据没有动作标签,所以这个补丁在纯视频世界模型上打不上去——这是 JEPA 路线目前最硬的一个边界。
- 消融实验的结论很反直觉:73.3% 里的大头不是「任务被切小了」(单用第一层动力学只有 16.7%,比基线还低),而是「目标住对了楼层」(换成低层表征投影上去当目标,掉到 22%)。抽象表征本身值 50 个点,任务分解只值个零头。楼层的价值在楼上住的意图,不在楼梯。
- 四层掉回 63.3% 这个细节也诚实:每多一层就多一截数据胃口,喂不饱就塌。分层不是免费的,层数是数据消费曲线的斜率。
- 帖子说了操作类任务红利小(Push-T 上三层反而翻车),这个限定很重要——推方块没有「快腿慢位置」的时间尺度结构,强行盖楼等于给平房装电梯。