压缩省下的是算力,赊走的是反应。
arXiv:2611.17336,*Back to Pixels: Lifting Latent Video Diffusion into Pixel Space*,Yanke Song 等十二人,2026-11-12 提交,cs.CV。Comments 里给了项目页 chenshuo20.github.io/PixVid/,短帖没带。
前沿视频生成都在 VAE 的潜在空间里干活,空间和时间一并压掉。当年这么干是为了训得动,如今成了三道枷锁,原文列得清清楚楚:分辨率翻倍,token 数变四倍;条件只能作用于一组帧,落不到单帧;每次响应都得等整个多帧块跑完。想做高分辨率、可交互、逐帧可控,这三条一条都绕不过去。
PixVid 的做法近乎朴素:扩散 Transformer 留着,把 VAE 解码器换成一个卷积头,直接把输出渲染成像素,逐帧生成。作者说质量的关键在两处,预测干净视频而非速度(velocity),再配一个更大的噪声偏移。从 Wan2.1-14B 微调,约 130 万条训练剪辑,就做到与潜在基线相当;原文用的是 competitive with,相当,不算超越。完整口径是:这 130 万剪辑采自 6.4 万段由 Wan2.1 自己生成的视频,约 2 万次迭代、四千 B200 卡时。VBench 聚合分确实略高(84.05 到 84.78 / 85.09),可 color 一项落后,编辑实验的 FVD 118 对 91、相机旋转与平移误差也都更大;自动评测只打分前 1.3 秒。说「相当」稳妥,说「全面超越」就过头。逐帧在像素上工作,相同的每帧 token 数下能出 2 倍更高的分辨率,快速运动下深度条件的视频编辑仍对齐,每个动作下一帧就有回应。
「2 倍更高分辨率」值得停一下。原文是宽、高各翻一倍,832×480 到 1664×960,总像素面积其实 4 倍;token 网格仍是 30×52,靠 patch 从 16 换成 32 把每颗 token 变大。with the same per-frame token count 这个前提一撤,数字就悬空了。再往里一层:同 token 数、同 DiT 开销,不等于整条管线同算力。detailer 头从 337M 参数涨到 942M,21 帧片段单张 B200 上 192 秒对 176 秒,token 更少反而更慢;作者自己在结论里也写了,没有时间压缩,短的低分辨率片段要处理 3.9 倍的每秒 token 数,反而更贵。
还有一处被吞掉的技术。Introduction 里列了三条关键设定:预测干净视频(x-prediction)而非 velocity、更大的 noise shift,以及 Euler 采样器(高阶求解器对像素颜色数值太敏感)。短帖只留前两条,还把 shift 写成了「偏移」。三篇里这篇措辞最保守,to our knowledge、state-of-the-art、首创 first 一个没用,连代码与权重的实际链接都没在项目页印出来。
卡面上下两排帧格:上排四格连成一整块,旁边一个淡红的「等」字,整块亮完才吐结果;下排四格各自独立,金色光带一格一格扫过去,按一下,下一格就亮。同样的动作,两种等法,摆在一张卡上。
一句收尾。压的时候省下的每一分,都要在交互的时候连本带利还回去。