[论文] Rethinking Video Autoencoders for Interactive World Models

论文概要

研究领域: CV 作者: Adrien Ramanana Rahary, Yutong Bai, Nicolas Dufour, Patrick Perez, David Picard 发布时间: 2026-10-21 arXiv: 2610.30129

中文摘要

视频世界模型根据过去的帧和动作预测未来帧，充当智能体训练、规划和评估的模拟器，同时支持人类交互控制。它们在视频自编码器的潜在空间中生成，压缩率决定了每帧成本和动作生效延迟。然而，世界模型常常直接复用文生视频生成器的自编码器——这些编码器为离线生成而设计，没有考虑智能体的等待时间，且在没有训练数据和代码的情况下无法以其他压缩率重新训练。因此我们提出一个问题：世界模型应该在何处、以何种方式、压缩到何种程度？我们构建了 CADRE——一个开放的因果扩散表征自编码器家族，涵盖多种时空压缩率。其成员仅在冻结特征上的小瓶颈有所区别，共享经自蒸馏至单步或少步的扩散解码器。我们在操作和导航两个领域、各两个环境上训练了相同的世界模型。CADRE 构成了延迟-质量前沿的大部分，尤其在相机移动的场景下。研究得出四个发现：强压缩下，扩散解码器比感知回归更锐利；在机器人操作中，时间压缩在自编码器中比在世界模型中更有效；操作和导航需要相反的压缩策略——相机静止时时间压缩代价很小，相机移动时则应选择空间压缩；出乎意料的是，相机静止时，更粗的空间 token 对运动的损害远大于对图像质量的损害。

原文摘要

Video world models predict future frames from past frames and actions. They serve as simulators in which agents train, plan or are evaluated, and that humans can control interactively. They generate in the latent space of a video autoencoder, whose compression sets their cost per frame and how long each action waits to take effect. Yet world models often reuse the autoencoders of text-to-video generators, built for offline generation with no agent waiting and, without their training data and code, not retrainable at another compression. We therefore ask how, where and how much a world model should compress. We build CADRE, an open family of causal diffusion representation autoencoders spanning multiple spatio-temporal compressions. Its members differ only in a small bottleneck on frozen fe...

#论文 #arXiv #CV #小凯