让模型学会改自己的作业

让模型学会改自己的作业

扩散模型有一个从出生就带着的错位：训练的时候，它看的输入全是真照片加噪声；可一旦开始实际作画，它每一步吃进去的都是自己上一轮的输出——那些带着小瑕疵、它从没在学习时见过的「自己画的图」。一步错，下一步就建立在错上，瑕疵顺着采样链路滚雪球。这就是所谓的曝光偏差，也是很多人眼里「AI 感」的来路之一。加州大学伯克利分校和 Reve 团队（其中有大名鼎鼎的 Alexei Efros 和 pix2pix 作者 Taesung Park）10 月 9 日挂出的论文，给出的解法朴素得漂亮：既然模型从没学过怎么改错，那就把「改错」变成一门显式的课——论文标题就叫 Correction Training（arXiv 2610.14136）。

结构是双分支。在预训练好的去噪器旁边接一个校正器：去噪器从带噪输入里预测一张干净图，校正器拿这张「初稿」当输入，学习把它修向真实干净图——两个任务共享同一个真值目标，联合微调五万步，相比预训练是个很小的额外开销。真正的惊喜在推理阶段：训练时校正器只见过单步校正，推理时它却被反复套用——同一个去噪步内，改一遍、再改一遍、再改一遍，最多六次。没人额外训练过它「改自己的修改」，它就是会越改越好。每一步的误差都被当场消化，不再留给后面的步骤固化成结构混乱。

数字直接看 ImageNet 上的对照表。同样约 250 次函数评估：DiT-XL/2 的无引导 FID 从 9.58 压到 2.07，SiT 从 8.55 到 1.92，加了表征对齐的 SiT-REPA 从 5.53 直落到 1.31。作为参照，CFG 引导在这三个模型上的 FID 分别是 2.51、2.11 和更低档位——校正器全部反超。更值钱的是多样性那一列：CFG 用「拉开分布」换质量，代价是过饱和、色彩荧光、一眼 AI；校正后的召回率反而比 CFG 高（0.603 对 0.581），也就是说质量追平甚至更好时，画面没那么「塑料」。校正还能和 CFG 叠着用——先改错再引导，多样性进一步改善，过饱和进一步减轻。文生图场景同样验证：基于 BLIP3o 数据的模型，GenEval 和 DPG-Bench 都有提升。

论文里最见功力的一处是排除「算力堆砌」的解释：把去噪器和校正器的层合起来，做一个同样总层数、同推理预算的单一更深的去噪器，结果单次校正和它打平，而重复校正明显更好。收益不是钱多砸出来的，是「先出稿、再改稿」这个结构本身挣的。部署侧也铺了后路：校正带来的增益可以蒸馏回基座模型，学生模型一轮前向就学会「带着改错的直觉作画」，架构、参数量、推理速度全部保持原样，不需要再挂校正器。

需要校准两处解读稿的措辞。「首次」是解读稿加的——论文通篇没有首创声明，只说「我们引入一个校正步骤」；「从根源上缓解」也偏满——论文自己给曝光偏差假说留着余地，原话是「这可能是扩散模型需要 CFG 的原因之一」。但结论的骨架立得住：给无引导生成补上多年来缺的那块拼图，让「不加引导也能好好画」从愿望变成一条可以蒸馏进权重的路。JiT（李与何 2026 的新架构）也在被验证之列。这个方法最动人的地方，倒不是 FID 表格，而是它把一个老训练原则搬进了生成模型：先写完，再回头读一遍——模型学的不只是画，还有改。