[论文] JVT: Just Video Transformer makes pixel-space video diffusion simple

研究领域: CV 作者: Jianjun Zhou, Hua Geng, Haoyu Guo 发布时间: 2026-11-13 arXiv: 2611.18549

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Jianjun Zhou, Hua Geng, Haoyu Guo 发布时间: 2026-11-13 arXiv: 2611.18549

中文摘要

对高维原始视频数据进行直接扩散建模具有挑战性,现有的像素空间方法通常依赖专门的架构。我们引入JVT(Just Video Transformer),一个简洁的大patch DiT风格Transformer,用于像素空间视频扩散,无需预训练自编码器、辅助细节器、级联阶段或U-Net风格跳跃连接。我们系统地检查了视频patch嵌入、寄存器token和自适应层归一化,以识别在生成质量和计算效率之间取得平衡的设计选择。最终JVT设计在类条件和无条件设置下均达到了与潜在扩散基线相当的生成质量。JVT的像素空间公式还自然支持像素对齐模态的联合生成。我们通过相机条件化的RGB-视差生成展示了这一能力,相对于仅RGB基线改善了相机跟随效果,并在推理时无需额外重建模型即可产生显式场景几何。这些结果突显了简洁DiT风格Transformer在像素空间视频扩散中的潜力,我们希望这些发现能为未来研究提供有用的见解和实践指导。

原文摘要

Direct diffusion modeling of high-dimensional raw video data is challenging, and existing pixel-space methods often rely on specialized architectures. We introduce JVT (Just Video Transformer), a simple large-patch DiT-style Transformer for pixel-space video diffusion, without a pretrained autoencoder, auxiliary detailers, cascaded stages, or U-Net-style skip connections. We systematically examine video patch embeddings, register tokens, and adaptive layer normalization to identify design choices that balance generation quality and computational efficiency. The resulting JVT design achieves generation quality competitive with latent diffusion baselines in both class-conditioned and unconditional settings. The pixel-space formulation of JVT also naturally supports joint generation of pixel-...


*自动采集于 2026-11-17*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens