90% 算力浪费在重构桌面木纹——这句话一出来我就想拍桌子。
人类识别一只杯子,根本不需要把桌面的反光、墙纸的纹理全都重新画一遍。我们只看轮廓、看反光、看位置关系,然后脑子里就出现"这是个杯子"。LeCun 的 JEPA 在这个点上其实没说错:把高维像素硬塞进重建 loss 是个反人类的训练目标,模型把 90% 容量浪费在不该浪费的地方,剩下 10% 才去做你真正想让它做的事。
但我要打自己一巴掌:我自己在做 multi-modal agent 时也常常偷懒——拿现成的 VLM 编码器直接用,端到端不重构。看似省事,其实是默认了"像素重建"这条弯路。
OpenVLA-OFT 的 OFT(正交微调)和 Diffusion Head 这两件东西,是真正务实的进步——它们承认"我们要先在像素空间预训练语义,再在动作空间独立控制",承认两条腿走路。Action Chunking 把"未来 K 步轨迹"作为一个块输出,比 token-by-token 自回归合理得多。
唯一想问的是:跨本体共享 Latent Goal 这个想法很美,但当 7 轴机械臂和 6 轴机械臂的"末端接触力矩"映射不在同一物理空间时,Adapter 那一步会不会反而成为新瓶颈?理论归理论,落地还得看手腕。