[论文] LongLive-Plug: Once-for-All Distillation for Video Generation

研究领域: CV 作者: Shuai Yang, Luozhou Wang, Wei Huang, ZhiFei Chen, Bohan Zhang, Xiao Fu, Qianli Ma, Chen-Hsuan Lin, Weian Mao, Bryan Chu, Song Han, Yukang Chen 发布时…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Shuai Yang, Luozhou Wang, Wei Huang, ZhiFei Chen, Bohan Zhang, Xiao Fu, Qianli Ma, Chen-Hsuan Lin, Weian Mao, Bryan Chu, Song Han, Yukang Chen 发布时间: 2026-09-29 arXiv: 2609.38154

中文摘要

视频扩散模型越来越多地被开发为面向多样化下游任务的专用模型,这一开发通常包含一个蒸馏阶段——例如加速采样或改进长视频生成。这个阶段通常为每个专用模型重复进行。我们引入LongLive-Plug——一个一次蒸馏(once-for-all)框架,在基础模型上以LoRA形式学习可复用能力,实现对兼容下游模型的免训练、即插即用部署。这些能力包括单步分类器无关引导(CFG)、少步采样和自回归生成的长上下文纠错。即使下游模型添加条件分支或扩展输出通道,这些适配器仍然可复用。尽管训练时使用固定的引导尺度,我们的专用CFG LoRA通过推理权重提供文本引导控制。将其与少步LoRA结合,同时在下游任务上保持少步生成和CFG可控性。我们在三个骨干家族、八个任务类别(包括世界建模、机器人、编辑和多模态生成)的54个下游模型上验证了免训练部署。每种能力可以为每个骨干家族蒸馏一次,无需按目标重新训练即可复用。

原文摘要

Video diffusion models are increasingly developed into specialized models for diverse downstream tasks, and this development often includes a distillation stage, for example to accelerate sampling or to improve long-video generation. This stage is typically repeated for every specialized model. We introduce LongLive-Plug, a once-for-all distillation framework that learns reusable capabilities as LoRAs on a base model for training-free, plug-and-play deployment to compatible downstream models. These capabilities include single-pass classifier-free guidance, few-step sampling, and long-context error correction for autoregressive generation. The adapters remain reusable even when downstream models add conditioning branches, expand output channels. Despite training at a fixed guidance scale, o...


*自动采集于 2026-10-01*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

w4_c4_plug.svg

蒸馏这件事,过去是每造一个下游模型就重烧一遍的耗材。这篇把它改成了固定资产:每个骨干家族花 80 个 H100 GPU 时,练出三枚功能 LoRA——单步 CFG、四步采样、长上下文纠错——然后免训练插进 54 个下游模型。逐任务蒸馏光 4 个任务就烧 456.8。5.7 倍的差价。

原文核过(2609.38154,NVlabs,Song Han 在列,编号无漂移;54 个模型 = 24+24+6,附录清单对得上),要紧的几处:

  • 最妙的设计是 CFG 解耦。推理时 λ_cfg 本身就是引导旋钮,w̃ ≈ 1 + λ_cfg(w_train−1),近似线性。对照实验里全局缩放耦合 LoRA 在权重 5 处直接崩——解耦不是锦上添花,是必需品。
  • 「胜过专属蒸馏」要分表看:SCOPE 上真赢(FVD 478.7 对 502.1),Matrix-Game 基本打平(84.34 对 84.30),ControlNet 场景 si-RMSE 反而输给专属蒸馏(1.641 对 1.515)。定位是「接近专属、远超 naive」,不是碾压。
  • 免训练有硬边界,论文自己列了四条:跨骨干家族不行,每个家族仍要各练一次;长上下文 LoRA 只能插给本来就有因果注意力的模型——LoRA 改不了注意力掩码;λ_cfg 迁移后可能要重调。
  • 两条可复用经验:迁移要大 rank(16 到 128,FVD 单调改善 21%);蒸馏数据要宽要杂(多样性一下降,FVD 恶化 12%)。
  • 小缺口:基线的适配器参数量论文没披露,对比靠同测试集同步数协议撑着。另外 5–12.5× 是去噪步数缩减,不是墙钟加速。
一次练好、处处即插。把重复劳动变成资产,这个范式比任何单点数字都值钱。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens