[论文] DanceOPD: On-Policy Generative Field Distillation

三个选择，一个目标：DanceOPD 如何让一个模型同时擅长生成和编辑

一个工程困境

你是一个图像生成团队的负责人。你的模型在文生图（T2I）上做得不错——用户给一句话，模型生成一张符合描述的图。但现在用户提出了新需求：他们想要编辑——给一张图，说"把背景换成海滩"，模型应该保留主体、只改背景；或者"把整张图变成水彩风格"，模型应该做全局风格转换。

这些能力单独训练都不难。难的是组合。如果你拿一个 T2I 模型，在编辑数据上继续训练，T2I 性能会下降——模型"忘了"怎么从零开始生成。如果你同时训练 T2I 和编辑，两个任务的梯度会冲突——T2I 鼓励开放性，编辑要求保真性，两个方向拉扯。如果你用参数合并（model merging）把一个 T2I 模型和一个编辑模型的权重平均，结果通常是两个都做不好——参数空间的线性插值不等于能力的线性组合。

这个问题在学术界叫"多能力组合"（multi-capability composition），是 2025-2026 年图像生成领域的核心挑战之一。2026 年 6 月，ByteDance Seed、NUS、UMD、HKUST 的联合团队在 arXiv 发表了 DanceOPD，给出了一个出人意料的简洁答案：不要组合能力，要组合"场"。

把能力看作"速度场"

要理解 DanceOPD，先要理解一个关键的视角转换。

Flow-matching 模型（如 Flux、Stable Diffusion 3）的工作原理可以这样表述：给定初始噪声 \(z_0 \sim p_T\)，模型 \(v_\theta(z_t, t, c)\) 预测一个速度（velocity），把 \(z_t\) 沿时间推到 \(z_1\)（最终图像）。所有可能的状态 \(z_t\) 构成一个状态空间，模型在这个空间上定义了一个速度场——每个状态对应一个速度向量。

DanceOPD 的核心洞察是：每个能力（T2I、编辑、风格化）都可以看作定义在这个共享状态空间上的一个速度场。一个冻结的 T2I 模型给出一个场 \(v_{\text{T2I}}\)，一个冻结的编辑模型给出另一个场 \(v_{\text{edit}}\)，一个风格化模型给出 \(v_{\text{style}}\)。这些场在同一空间里，但指向不同方向。

这个视角下，"多能力组合"不再是"如何把多个能力塞进一个模型"，而是"如何让一个学生模型学会查询多个场"。学生模型 \(v_\theta\) 的训练目标变成：在学生自己访问的状态上，查询某个老师场，学习那个场在该状态的速度。这就是"on-policy generative field distillation"——在场视角下的 on-policy 蒸馏。

三个耦合的选择

把问题转化成"场查询"后，立刻出现三个耦合的设计选择：

1. 哪个场应该监督一个样本？（target field selection） 2. 在状态空间的哪里查询这个场？（query state） 3. 从学生 rollout 中用多少个状态做监督？（query count）

这三个选择不是独立的。比如，如果你选了多个场同时监督一个样本（软路由），不同场的速度可能冲突，合成的监督方向不对应任何单一能力。如果你在老师轨迹上查询场（off-policy），学生自己访问的状态可能没有被监督到。如果你从同一次 rollout 中取多个状态做监督，这些状态高度相关（共享 prompt、噪声种子、学生动力学），梯度会被这些相关样本偏置。

DanceOPD 的贡献是识别出这三个选择各自带来的对齐挑战，并给出对应的解决方案。

选择一：硬路由，不软混

第一个选择是"哪个场监督这个样本"。最自然的想法是：让所有场都监督每个样本，用某种权重混合。但论文指出这会导致目标场模糊（target-field ambiguity）——混合后的速度向量不对应任何具体能力，学生学到的方向是"平均"的，不是任何一个老师真正会给出的方向。

DanceOPD 的选择是硬路由（hard routing）：每个样本被分配给恰好一个场。具体来说，根据样本的来源（T2I prompt、编辑样本、风格样本），路由到对应的能力场。这保持了每个样本监督的语义身份——T2I 样本只被 T2I 场监督，编辑样本只被编辑场监督。

消融实验显示这个选择的效果显著：硬路由比软混合（all-teacher mixing）在 MSE 下好 15.2%，在 KL 下好 10.6%。这是一个很大的差距——说明"保持语义身份"不是锦上添花，而是核心设计。

选择二：学生自己访问的状态，不是老师的

第二个选择是"在哪里查询场"。传统蒸馏（off-policy）在老师生成的轨迹上查询场——老师生成一个轨迹，学生在这些状态上学习模仿老师。但这种方式有一个问题：学生自己访问的状态分布和老师访问的不同，学生在推理时访问的状态在训练时没有被监督到。

DanceOPD 的选择是on-policy 查询：在学生自己 rollout 的状态上查询场。具体做法是：学生从噪声开始，用当前策略 rollout 到某个中间状态 \(z_t\)，然后冻结这个状态（stop-gradient），查询老师场在这个状态的速度，用这个速度作为监督目标。

这和 LLM 里的 on-policy distillation（如 GKD、AOPD）思路一致——让训练分布匹配推理分布。但在 flow-matching 模型里这是第一次系统化的实现。论文在 Section 7.2 给出了理论分析：stop-gradient rollout 保证了学生学到的场在它自己的访问分布上是一致的，避免了 off-policy 的分布偏移。

选择三：一次查询，不密集

第三个选择是"用多少个状态做监督"。最直观的想法是：从一次 rollout 中取多个状态（dense query），每个状态都查询场，用所有这些查询做监督。这样每个样本能提供更多监督信号，训练效率更高。

但论文指出这会导致轨迹查询相关性（trajectory-query correlation）。同一次 rollout 中的状态共享 prompt、噪声种子、学生动力学、路径历史——它们高度相关。把这些相关样本当作独立监督，等于对同一条路径的信息过采样，梯度被这条路径偏置，失去多样性。

DanceOPD 的选择是单次语义侧低噪声查询：每个样本只查询一次，而且查询发生在低噪声状态（接近最终图像的状态）。为什么是低噪声？论文的解释是：能力特定的信息（比如"这是编辑还是 T2I"）在低噪声状态最集中——高噪声状态下所有能力看起来都差不多（都是噪声），低噪声状态下不同能力的输出差异最大。

消融实验支持这个选择：低噪声查询比中噪声好 23.7%，比高噪声好 19.5%。密集查询（dense same-step accumulation）比单次查询差 22.8%——过采样相关样本反而伤害性能。

简单目标：速度 MSE

三个选择确定后，训练目标出人意料地简单：速度 MSE。

其中 \(v_m\) 是路由到的老师场，\(\text{sg}(z_t)\) 表示 stop-gradient。没有 KL 散度，没有 PPO 裁剪，没有奖励加权，没有对抗损失——就是朴素的均方误差。

论文在 Section 7.1 给出了理论解释：在局部高斯转移的视角下，KL 式的场匹配可以简化为加权 MSE 形式。而在实际中，权重对结果影响不大——消融显示 plain MSE 比主要加权变体好 2.8% 到 4.5%。简单胜过复杂。

这个结果让人想起 GKD（Generalized Knowledge Distillation）在 LLM 里的发现：forward KL 比 reverse KL 更稳定，因为 forward KL 在学生状态上评估老师分布，是 on-policy 的。DanceOPD 在 flow-matching 领域得到了类似的结论：on-policy + 简单 MSE 是稳健的默认选择。

"场吸收"：一个意外的扩展

DanceOPD 的场视角有一个优雅的扩展：算子定义的场。

不是所有场都来自冻结的模型。Classifier-Free Guidance（CFG）是一个算子——它不是一个独立模型，而是一个操作：\(v_{\text{CFG}} = (1+\omega) v_{\text{cond}} - \omega v_{\text{uncond}}\)。这个操作定义了一个新的速度场，和模型定义的场在同一空间。

DanceOPD 可以"吸收"这个场：把 CFG 场当作一个额外的能力场，用同样的硬路由、on-policy、单查询、MSE 框架蒸馏进学生。训练后，学生模型不再需要 CFG——它在内部已经学会了 CFG 的行为。

这不仅是技术技巧。它意味着推理时算子可以被"固化"进模型权重。CFG 在推理时每步要算两次前向（conditional 和 unconditional），翻倍推理成本。吸收后只需要一次前向。类似地，realism 场（来自一个 reward model 的梯度场）也可以被吸收——训练后不需要 reward model，学生已经学会了"更真实"。

实验结果：

• CFG 吸收：比 train-only 吸收好 7.6%，比 eval-only CFG 好 1.4%。也就是说，吸收后的学生比推理时用 CFG 还要好一点点——固化算子不仅省成本，还能略微提升质量。
• Realism 场吸收：比 off-policy 蒸馏好 9.9%，弥合了 85.3% 的学生-老师 reward 差距，同时 T2I 分数只比 off-policy 低 0.1%——几乎无损。

实验结果：全面超越

DanceOPD 在四个场景上做了评估：

T2I + 编辑组合：GEditBench 比最好的 OPD baseline 好 8.1%，比编辑源模型好 8.5%。同时 GenEval（T2I 指标）略超 T2I 源模型——目标能力提升的同时锚定能力不降。

局部编辑 + 全局编辑组合：比最好的组合 baseline 好 16.1%，比局部编辑源好 7.9%。GenEval 高于所有对比 baseline。

Realism 场吸收：reward 比 off-policy 蒸馏高 9.9%，弥合 85.3% 的学生-老师差距，T2I 分数仅低 0.1%。

CFG 吸收：比 train-only 吸收好 7.6%，比 eval-only CFG 好 1.4%。

这些结果不是边际改进，是显著跳跃。特别是在多能力组合这个公认困难的问题上，DanceOPD 用一个统一框架同时处理了 T2I、编辑、realism、CFG 四种能力/算子。

消融实验：每个设计都重要

论文的消融实验（Section 4.3）做得非常仔细，每个设计选择的贡献都被单独评估：

• 硬路由 vs 软混合：+15.2%（MSE）/ +10.6%（KL）
• 低噪声 vs 中噪声查询：+23.7%
• 低噪声 vs 高噪声查询：+19.5%
• 单查询 vs 密集查询：+22.8%
• SDE decorrelation（部分补救密集查询）：+18.4%，但仍比单查询低 8.6%
• Plain MSE vs 加权变体：+2.8% 到 +4.5%

特别值得注意是 SDE decorrelation 的结果。SDE decorrelation 是一种通过给 rollout 加随机性来降低样本相关性的技术——理论上应该能补救密集查询的问题。实验显示它确实有帮助（+18.4%），但仍然比单查询差 8.6%。这说明避免相关性比事后补救更有效——从源头设计上避免问题，好过事后缓解。

和 LLM on-policy distillation 的对照

DanceOPD 的方法论和 LLM 里的 on-policy distillation 有深刻的对应关系：

这个对应关系暗示一个更广的原理：on-policy distillation 适用于任何有状态轨迹的生成模型，不只是 LLM 或扩散模型。只要模型生成过程是一条轨迹（token 序列、噪声→图像、机器人轨迹），on-policy 蒸馏就比 off-policy 更优。这是一个可能适用于更多场景的通用原理。

没有代码，但有清晰的方法论

截至论文发布时（2026 年 6 月），DanceOPD 的代码尚未公开——论文提到项目页面在 DanceOPD.github.io，但 GitHub 仓库还没有代码。不过论文的方法描述足够清晰，实现细节在 Section 8（Implementations）和附录中给出，包括计算复杂度分析、训练超参数、评估设置。

这对复现者来说是个障碍，但不是致命的。论文的核心算法可以用几十行伪代码概括：

for each training step:
    sample (prompt, image, capability_label) from mixed data
    route to teacher field v_m based on capability_label
    z_0 ~ p_T  # initial noise
    z_t = student_rollout(v_theta, z_0, prompt, until t_low)  # stop-gradient
    v_target = v_m(z_t, t_low, prompt)  # single low-noise query
    loss = ||v_theta(z_t, t_low, prompt) - v_target||^2
    update theta via loss

整个方法的核心就是这五行。没有复杂的 reward model，没有 PPO 裁剪，没有对抗训练，没有多阶段课程。简单到让人怀疑"真的就这么简单吗"——但消融实验确认了每个设计选择的必要性，说明简单不等于随意。

为什么这件事重要

从方法论角度，DanceOPD 展示了"视角转换"的力量。把"能力组合"问题从参数空间（model merging）或数据空间（data mixing）转换到场空间（field query），问题立刻变得清晰：三个耦合的选择，每个都有明确的对齐挑战，每个都有对应的解决方案。这种"找到正确抽象层次"的能力，是好研究的标志。

从工程角度，DanceOPD 提供了一个实用的路线。图像生成团队不需要为每个能力训练独立模型再合并——用一个统一框架，通过硬路由和 on-policy 蒸馏，就能得到一个同时擅长多种能力的模型。CFG 吸收和 realism 吸收还能把推理时算子固化进权重，省成本、提质量。

从理论角度，三个对齐挑战（目标场模糊、状态分布偏移、轨迹查询相关）的识别和分析，为未来的多能力蒸馏提供了设计原则。任何"多老师蒸馏一个学生"的场景——不管是图像、视频、还是 LLM——都可以参考这三个维度来设计。

从概念角度，这篇论文是"约束即简化"的又一个实例。硬路由是一个约束（每个样本只跟一个场），on-policy 是一个约束（只在学生状态上查询），单查询是一个约束（每样本只查一次）。这些约束不是被迫接受的限制，而是主动选择的设计原则。约束迫使方法更简单（plain MSE 就够）、更稳定（避免梯度冲突）、更高效（单查询比密集查询便宜）。和 Ene-Nguyen 的 DP-PCA 论文一样，约束创造了它自己的解脱条件。

结语

DanceOPD 是一篇方法论密度很高的论文。它不发明新的网络架构、新的损失函数、新的优化算法——它做的是识别正确的抽象层次（场视角）和做出正确的设计选择（硬路由、on-policy、单查询、MSE）。这种"不发明新东西，只是把已有东西放在正确位置"的研究风格，是成熟学科的标志。

论文来自 ByteDance Seed，第一作者 Wei Zhou，通讯作者 Wei Liu（刘伟，字节跳动）。作者团队在 flow-matching 模型、on-policy distillation、图像编辑方面有深厚积累。这篇论文可以看作他们之前一系列工作（DiffusionOPD、Flow-OPD 等）的自然延伸——从单能力蒸馏到多能力组合，从 reward-based 到 field-based。

最后，这篇论文的标题"DanceOPD"里的"Dance"可能不是随便起的。多个能力场在一个共享空间里"共舞"，每个样本选择一个舞伴，学生在舞动中学会所有舞步。这个意象和论文的方法精神很契合——不是强制统一，而是协调多样。