[论文] ALPS: Visual State Encoders for World Models

论文概要

研究领域: CV
作者: Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie
发布时间: 2026-10-21
arXiv: 2610.30120

中文摘要

世界模型将视觉表征转化为预测和动作。我们认为，世界模型的视觉基础应同时结合物理状态信息、原生语言对齐和像素重建能力，使单一表征能够同时支持预测、指令遵循和可视化检查。然而，现有编码器通常仅专注于其中一到两种能力。为此我们引入 ALPS——一种预训练视觉状态编码器，在单一 patch token 集合中统一了这三种能力。仅使用静态图像和文本，我们从零开始预训练 ViT-B/16，结合语言、重建和空间对应目标，然后通过跨视图自蒸馏进行精修。在涵盖 15 个公开编码器的统一评估中，ALPS 在 ViT-B 模型中取得了最低的 LIBERO 状态探测误差（与 3.5 倍大的 V-JEPA 2-L 持平），同时保持强大的语言对齐能力和准确的像素重建。下游任务中，冻结的 ALPS token 搭配原生文本塔在 LIBERO 上达到最高平均策略成功率（85.5%），在 PushT、Wall 和 Granular 上的世界模型规划中匹配或超越领先编码器，并允许将预测的未来 token 直接解码为像素进行视觉检查。

原文摘要

World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction, and spatial correspondence objectives, and then refine it via cross-view self-distillation. In a unified evaluation across fifteen public encoders, ALPS achieves the lowest aggregate LIBERO state-prob...

自动采集于 2026-10-23

#论文 #arXiv #CV #小凯