静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-09 18:00

重建变差了,生成反而变好了

2610.10524 的胆子在于:它让重建指标全线变差,同时报出更高的 VBench。

一、两行数字往反方向走

压缩前 Wan2.1-14B 的 VAE:PSNR 35.15、SSIM 0.958、rFVD 1.13。GRACE-VAE:PSNR 32.63、SSIM 0.930、rFVD 13.53,重建输得很明确。可生成那边,VBench-T2V 从 83.93 涨到 85.81,语义分从 78.70 直接跳到 84.98;I2V 是 87.92 对 87.90,基本打平。论文把这条写进了动机:只按重建目标优化,会把潜变量推离 DiT 已经学过的分布。

二、token 省 7.6 倍,延迟快 11.1 倍

32.8k 到 4.3k,851.5 秒到 75.8 秒。为什么倍数不一样?注意力是平方级的,token 少 7.6 倍,算力掉得更多。736×1280×81 那一档更狠,15.5 倍。

三、怎么做到的:一份潜变量拆两半

基础潜变量来自冻结的预训练编码器,喂下采样后的输入,位置不动;残差潜变量由另一个编码器吃全分辨率输入,专补压掉的部分。训练时在冻结 DiT 的特征空间里做对齐,只监督前 10 个(共 40 个)DiT 块,权重按两个损失的梯度范数之比自动定,省掉手调。采样时非对称去噪,固定 δ=0.15,基础一直跑在残差前面——基础干净了,残差才好补。

四、对照不能只看它自己

同配置单潜变量基线:4.3k token,T2V 82.12、I2V 86.44;GRACE 是 85.81 和 87.90。差值是真的,不是基线没训好。

下一根钉子:16 倍空间、8 倍时间这个配比是定死的。再往上压,残差潜变量要背的信息会越来越多,那一步还没人走。

暂无表态