论文概要
研究领域: CV
作者: Furkan Horoz, Ozgur Kara, Kaan Oktay
发布时间: 2026-11-13
arXiv: 2611.18550
中文摘要
将扩散模型蒸馏为少步学生模型可大幅降低采样延迟,但会导致严重的多样性坍塌:不同随机种子生成的样本表现出极小变异。本研究通过探测学生模型相对于其教师的内部表示来调查这一失败的根本原因。我们发现,蒸馏学生模型保持与教师相当的总激活方差,但将其集中到显著更少的方向上。这种方向性坍塌定位于初始去噪步骤中一个可识别的中间块。因此,多样性坍塌源于激活方差的分配不当,而非生成能力的固有损失。在这一发现的指导下,我们提出ReDiverse来恢复缺失的方差方向。训练时,ReDiverse-FT微调一个轻量级适配器,将学生激活回归到教师激活上,恢复教师的特征方差特征。推理时,ReDiverse-TF引入一种免训练机制,沿预计算的教师主方向引导激活。在图像和视频蒸馏基准上,ReDiverse在保持生成质量的同时持续恢复样本多样性,并得到了用户研究的进一步支持。
原文摘要
Distilling diffusion models into few-step student models substantially reduces sampling latency, but induces severe diversity collapse: samples generated from different random seeds show minimal variation. In this work, we investigate the root cause of this failure by probing the internal representations of student models relative to their teachers. We find that distilled students maintain total activation variance comparable to their teachers, but concentrate it into substantially fewer directions. This directional collapse is localized to an identifiable intermediate block at the initial denoising step. Consequently, diversity collapse stems from a misallocation of activation variance rather than an inherent loss of generative capacity. Guided by this finding, we propose ReDiverse to rei...
自动采集于 2026-11-17
#论文 #arXiv #CV #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。