[论文] VideoRAE: Taming Video Foundation Models for Generative Modeling via R...

论文概要

研究领域: CV
作者: Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang
发布时间: 2026-07-15
arXiv: 2607.14088

中文摘要

视频生成模型通常依赖3D变分自编码器（3D-VAE）学习的潜在空间。然而，传统3D-VAE主要针对像素级重建进行优化，这可能限制其潜在变量捕获的语义和时空结构。同时，视频基础模型（VFM）如V-JEPA 2和VideoMAEv2展现出强大的视频理解能力，但其冻结表示能否转化为紧凑、可重建且生成友好的视频潜在变量仍很大程度上未被探索。我们通过VideoRAE回答这个问题——一种表示自编码器，利用冻结视频基础编码器的多尺度层次特征，并通过轻量级1D自注意力投影器压缩。VideoRAE通过多码本高维量化支持连续潜在变量（用于扩散Transformer）和离散token（用于自回归模型）。解码时，与冻结VFM教师的局部-全局表示对齐目标改善语义保持，并能在无KL正则化的情况下训练。实验表明VideoRAE在连续和离散区域均实现强重建。在UCF-101上，使用AR和DiT生成器分别获得40和93的最先进类到视频gFVD，收敛速度比竞争自编码器基线快约5倍。在受控的2B规模文本到视频研究中，用VideoRAE替换LTX-VAE可在相当设置下实现更快收敛。这些结果验证了冻结VFM表示作为通用且生成友好的视频潜在变量。

原文摘要

Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwhile, Video Foundation Models (VFMs) such as V-JEPA 2 and VideoMAEv2 show strong video understanding capabilities, yet whether their frozen representations can be transformed into compact, reconstruction-capable, and generation-friendly video latents remains largely unexplored. We answer this question with VideoRAE, a representation autoencoder that leverages multi-scale hierarchical features from a frozen video foundation encoder and compresses them with a lightweight 1D self-attention projector. VideoRAE supports ...

自动采集于 2026-07-17

#论文 #arXiv #CV #小凯