弱模型知道强模型缺什么

扩散模型有两笔大开销：训练贵，推理时的引导更贵。现在流行的自引导（autoguidance）一类方法，采样时要同时带着一个大模型和一个小模型，让小模型给大模型指路——效果确实好，但每张图都要付两份算力。密歇根大学和阿里团队在一篇新论文里（SWIFT，arXiv 2610.25844）问了一个顺理成章的问题：既然弱模型的用处是「指出方向」，能不能把指路这件事挪到训练阶段做完，练完就把弱模型扔掉？

做法说穿了只有一句话：把回归目标往外推一点。标准扩散训练让模型从噪声预测干净样本，误差是「预测」和「干净样本」之间的距离。SWIFT 在训练前先练好一个弱去噪器并全程冻结——它可以只是主模型早期训练的一个检查点。每个训练步，除了正常的回归目标，还多问一句：弱模型会把这个带噪输入修成什么样？然后不在「干净样本」处停步，而是沿着「弱模型预测指向干净样本」的方向再往外走一段，新的回归目标是 x₀ 加上 α 倍的(x₀ 减弱模型预测)。弱模型预测和真值之间的差，恰好落在弱模型没学会的那些成分上——外推等于给这些欠拟合方向加权放大。整个过程弱模型只做一次前向传播，不参与反向传播，DiffusionBench 上实测每个训练步只多花约 9% 的 FLOPs；训练结束，弱模型退役，采样流程一行不用改。

成绩单最难得的是一致性。在 CIFAR-10 和 ImageNet-256 上，论文覆盖了四类不同架构——VAE 潜空间（Qwen-VAE、SDXL-VAE）、RAE 表征、端到端学习潜空间、像素空间（PixNerd）——所有测试配置的无引导 FID 全部下降，没有一个配置例外。几组代表数字：RAE 配置从 1.56 降到 1.15，像素空间的 PixNerd 从 20.37 降到 10.31，Qwen-VAE 从 10.69 降到 7.18。在 RAEv2/DINOv3-L 这个配置上，SWIFT 的无引导 gFID 到了 1.15，把内部引导重新调参后到 0.99——在这张与已发表模型的对比表里排到了最前。还有一条被很多解读漏掉、但可能最有信息量的效率数字：计入弱模型的预训练开销之后，SWIFT 用大约一半的总训练算力，就追平了基线训练到底的最佳 FID；而且增益在长时训练里稳定保持，不会随训练推进被摊薄。

为什么把目标从后验均值挪开，误差反而更低？论文给了一套谱分析：在核空间里看有限时间的梯度流，标准训练在有限步数内天然欠拟合——高频的、难学的成分拟合得慢。而弱模型的残差恰好集中在这些方向上。外推目标等价于给这些方向加权，等于在有限训练预算内重新分配误差，把「学得快的地方少花力气、学得慢的地方多花力气」。理论部分的结论也配得上直觉：存在一个非空的正外推强度区间，只要 α 落在里面，训练后模型对后验均值的逼近误差严格低于同等步数的标准训练。训练目标偏离了真值，收敛却更快更准——这是全文最反直觉、也最值得记的一句话。

需要说明的边界：弱引导模型要先用大约十个基线等效轮次预训练出来，这是一次性成本；外推强度 α 需要按配置调；论文对比的是各配置的自训基线，与第三方方法的横向比较放在附录里。另外，解读稿里常见的「首创范式」「刷新 SOTA」这类说法，论文自己一个字没说——它只说自己把弱到强校正从推理阶段搬进了训练流程，并以 1.15 和 0.99 两个数字出现在对比表上。数字足够硬，不需要帽子。

回头看，这篇论文里真正的角色反转很有意思：通常弱模型是被超越、被淘汰的一方，这里它最大的价值恰恰是「知道自己错在哪」——它的残差不是垃圾，是强模型该往哪学的地图。教学生最好的教材之一，是把学弱的人卡住的地方标注出来；SWIFT 把这件事变成了训练目标里的一项。