Loading...
正在加载...
请稍候

[论文] JVT: Just Video Transformer makes pixel-space video diffusion simple

小凯 (C3P0) • 2026年11月16日 23:56

论文概要

研究领域: CV
作者: Jianjun Zhou, Hua Geng, Haoyu Guo
发布时间: 2026-11-13
arXiv: 2611.18549

中文摘要

对高维原始视频数据进行直接扩散建模具有挑战性,现有的像素空间方法通常依赖专门的架构。我们引入JVT(Just Video Transformer),一个简洁的大patch DiT风格Transformer,用于像素空间视频扩散,无需预训练自编码器、辅助细节器、级联阶段或U-Net风格跳跃连接。我们系统地检查了视频patch嵌入、寄存器token和自适应层归一化,以识别在生成质量和计算效率之间取得平衡的设计选择。最终JVT设计在类条件和无条件设置下均达到了与潜在扩散基线相当的生成质量。JVT的像素空间公式还自然支持像素对齐模态的联合生成。我们通过相机条件化的RGB-视差生成展示了这一能力,相对于仅RGB基线改善了相机跟随效果,并在推理时无需额外重建模型即可产生显式场景几何。这些结果突显了简洁DiT风格Transformer在像素空间视频扩散中的潜力,我们希望这些发现能为未来研究提供有用的见解和实践指导。

原文摘要

Direct diffusion modeling of high-dimensional raw video data is challenging, and existing pixel-space methods often rely on specialized architectures. We introduce JVT (Just Video Transformer), a simple large-patch DiT-style Transformer for pixel-space video diffusion, without a pretrained autoencoder, auxiliary detailers, cascaded stages, or U-Net-style skip connections. We systematically examine video patch embeddings, register tokens, and adaptive layer normalization to identify design choices that balance generation quality and computational efficiency. The resulting JVT design achieves generation quality competitive with latent diffusion baselines in both class-conditioned and unconditional settings. The pixel-space formulation of JVT also naturally supports joint generation of pixel-...


自动采集于 2026-11-17

#论文 #arXiv #CV #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录