SDG 深度解析：文生图缺陷诊断从「热图猜谜」到「结构化手术刀」的范式跃迁

> 清华大学 × 快手 Kolors 团队联合提出 Structured Defect Grounding (SDG)，把文生图缺陷诊断从像素级热图回归升级为实例级结构化集合预测，每个缺陷精确定位到 bounding box、类型、原因、重要度四元组。这不是 UI 升级，是诊断范式的根本重构。

---

一、痛点：为什么热图反馈正在失灵

文生图模型（FLUX、SD3、Kolors 等）生成的图像越来越逼真，但它们的失败模式却越来越本地化、细微化、结构异质化——畸形文字、不合常理的几何、提示语义错位。

传统评估方法的瓶颈：

方法	粒度	局限
标量偏好分数（如 PickScore）	全局	所有缺陷坍缩成一个数字，无法定位、无法分类
热图反馈（如 RichHF）	像素级	依赖标注者选择的半径，不是真实缺陷边界；无法绑定语义原因
VLM+解码器（如 ImageDoctor）	像素级	需要额外回归头，不是 VLM 原生输出格式

核心问题：这些方法的共同假设是"缺陷诊断 = 像素场回归"。但真实的缺陷是离散的实例——一张图可能有 3 个不同位置、不同类型、不同原因的缺陷，每个缺陷有明确的边界和语义解释。

SDG 的核心洞察：把缺陷诊断从"连续像素预测"重构为"结构化集合预测"。每个缺陷是一个四元组：

(location, type, reason, importance)
  ↓         ↓      ↓          ↓
  bounding  artifact/  自然语言    1-100 重要度
  box       misalignment 描述      分数

---

二、SDG-30K：首个同时覆盖两类缺陷的框级标注数据集

2.1 数据构成

• 30,096 张图像（1024×1024），基于 Pick-a-Pic 提示生成
• 4 个现代 T2I 生成器：FLUX.2-dev、Z-Image-Turbo、LongCatImage、SANA-1.5-1.6B
• 112 名标注员，约 1,085 人时的人工标注
• 标注粒度：bounding box + 顶层标签 + 中文描述（≤30 字）

2.2 两类缺陷的统一空间

SDG 把此前被分开处理的两种缺陷统一到一个实例空间：

类型	定义	示例
Artifact	图像内在的视觉缺陷	畸形手指、模糊文字、不自然纹理
Misalignment	提示条件驱动的语义错误	提示"红色汽车"但生成蓝色；提示"三人合影"但只有两人

关键发现：数据集中 23.2% 的图像同时包含两类缺陷。这意味着传统的"只检测 artifact 或只检测 misalignment"的方法会遗漏大量复合缺陷场景。

2.3 重要度分布

重要度分数（1-100）估计每个缺陷对图像质量和提示忠实度的感知影响：

• 中心集中在中等严重度（40-69 区间）
• 大部分分布在 30-80 之间
• 极端值罕见，覆盖均衡

这个设计让 SDG 不仅告诉你"哪里有缺陷"，还告诉你"先修哪个"。

2.4 人类标注上界

16 名独立标注员对测试集重新标注，作为人类性能上界：

• Artifact BoxF1@0.5：0.278
• Misalignment BoxF1@0.5：0.409

这揭示了缺陷定位的固有主观性——即使人类之间也存在显著差异，因为"缺陷边界"本身就是一个模糊概念。

---

三、SDG 检测器：两阶段训练的工程智慧

3.1 架构选择：为什么是 Qwen3-VL

SDG 检测器基于 Qwen3-VL-4B-Instruct，原因很直接：

1. 原生结构化输出支持：Qwen3-VL 支持框、点等空间结构在自回归生成框架内的显式输出 2. 图像 grounding 能力：内置的图像 grounded reasoning 和空间理解能力 3. 4B 参数规模：在效果和效率之间取得平衡

3.2 阶段一：SFT（监督微调）——学会格式

目标：让模型学会输出结构化缺陷集合的格式

输入：生成图像 + 提示文本 输出：推理轨迹（Chain-of-Thought）+ 结构化缺陷集合

关键技巧：坐标抖动（Coordinate Jitter）

# 每个坐标独立扰动
δ ~ U(-10, 10)  # 在 [0, 1000] 归一化空间
# 然后 clamp 到 [0, 1000]，确保有效框顺序

为什么这么做？

• 减轻对精确坐标值的敏感性
• 每个 epoch 重新采样偏移，模型看到同一缺陷的多种空间变体
• 为后续 GRPO 提供更鲁棒的初始化

训练配置：

• 16 张 GPU，DeepSpeed ZeRO-2
• 3 个 epoch，有效 batch size 16
• 学习率 3×10⁻⁵，cosine 调度
• 视觉编码器冻结（实验证明解冻会降低 grounding 质量）

3.3 阶段二：GRPO——优化质量

目标：在 SFT 基础上，通过强化学习直接优化结构化输出的质量

采样配置：

• 每个提示采样 S=8 个响应
• Temperature 1.0，Top-p 0.85
• 2 个 epoch，学习率 1×10⁻⁶

复合奖励函数（ gated by 格式有效性检查）：

R = λloc·Rloc + λdesc·Rdesc + λimp·Rimp    if Format(y) = true
R = Rfail (< 0)                             otherwise

λloc = 0.6, λdesc = 0.25, λimp = 0.15
Rfail = -1

奖励组件	计算方式	权重
Rloc	空间定位精度：Hungarian 匹配 + DIoU 成本	0.6
Rdesc	描述一致性：Qwen3-Embedding-0.6B 余弦相似度	0.25
Rimp	重要度估计：截断绝对误差	0.15

为什么这样设计权重？

定位精度占 60% 是合理的——如果 bounding box 不准，后续的所有分析（类型、原因、重要度）都失去了空间锚点。描述一致性占 25% 确保语义理解的准确性。重要度占 15% 作为辅助信号，因为重要度本身有一定主观性。

---

四、BoxFlow-GRPO：从诊断到对齐的桥梁

4.1 现有方法的缺陷

ImageDoctor 的 DenseFlow-GRPO 是此前最接近的工作。但它的奖励机制有一个根本问题：

# DenseFlow-GRPO 的简化逻辑
L ∝ -A · ρ · (1 - H)

其中 A 是图像级标量优势，H 是预测热图。热图 H 只是作为策略梯度损失的乘法掩码——梯度信号仍然由图像级标量驱动，热图只是降低被标记为缺陷位置的权重，而不是贡献真正的逐位置优势。

4.2 BoxFlow-GRPO 的核心创新

SDG 将结构化缺陷预测转化为按重要度加权的空间奖励图：

步骤 1：构建空间奖励图

对于每个潜在空间位置 (h, w)：

Wtype(h,w) = max_k∈Btype(h,w) ŝk / 100

Rᴰ(h,w) = R - α_art · W_art(h,w) - α_mis · W_mis(h,w)

其中：
- α_art = c_art · σ(group)R = 0.5 · σ(group)R
- α_mis = c_mis · σ(group)R = 0.05 · σ(group)R

关键设计：

• 高重要度缺陷 → 更强的空间惩罚：高重要度缺陷覆盖的位置获得更大的奖励减值
• 轻微缺陷 → 较轻惩罚：低重要度缺陷的影响被缩小
• 自适应惩罚：α 系数与提示组奖励标准差成正比，确保奖励尺度一致

步骤 2：逐位置优势归一化

Aᴰ(k)(h,w) = (Rᴰ(k)(h,w) - μᴰ(h,w)) / (σᴰ(h,w) + ε)

在提示组内，每个空间位置独立计算均值和标准差，确保每个位置的优势反映其相对质量。

步骤 3：BoxFlow-GRPO 目标函数

J_BoxFlow(φ) = 1/(KTHW) · Σ_k,t,h,w min(
    ρ(k)_t(h,w) · A(k)_D(h,w),
    clip(ρ(k)_t(h,w), 1-ε, 1+ε) · A(k)_D(h,w)
)

与标量优势实现相比，这个目标函数在优势和似然比两个维度都保留了空间变化。

4.3 为什么这是真正的"空间 RL"

维度	DenseFlow-GRPO	BoxFlow-GRPO
优势来源	图像级标量	逐位置空间图
梯度信号	全局统一，热图仅作掩码	每个空间位置独立
缺陷重要度	未利用	直接纳入奖励权重
语义对齐	无	结构化类型/原因绑定到空间位置

---

五、实验结果：结构化诊断的压倒性优势

5.1 SDG-30K 测试集

模型	Artifact BoxF1@0.5	Misalignment BoxF1@0.5	描述余弦相似度	重要度精度
GPT-5.4 (zero-shot)	0.035	0.051	0.412	0.167
Gemini 3 Pro (zero-shot)	0.200	0.307	0.514	0.500
SDG (SFT)	0.223	0.333	0.642	0.866
SDG (GRPO)	0.263	0.387	0.658	0.893
人类上界	0.278	0.409	—	—

关键发现：

• GRPO 在定位精度上已经接近人类上界（artifact 0.263 vs 0.278；misalignment 0.387 vs 0.409）
• Zero-shot 大模型（GPT-5.4、Gemini 3 Pro）在精确框定位上表现很差，证明任务专用训练不可替代
• 描述一致性和重要度估计是 SDG 的绝对优势领域（0.658 和 0.893 vs 0.514 和 0.500）

5.2 跨数据集泛化：RichHF-18K

SDG 在未经 RichHF-18K 训练的情况下直接测试：

模型	Artifact F1	Misalignment F1
ImageDoctor (在 RichHF-18K 上训练)	0.952 (loose threshold)	0.143 / 0.004
SDG (zero-shot)	0.303	0.655

惊人结果：SDG 在 misalignment 检测上远超在域内训练的 ImageDoctor（0.655 vs 0.143/0.004）。这说明结构化实例表示比热图表示更擅长捕获提示条件驱动的语义错位。

5.3 扩散模型对齐

使用 SDG 引导的 BoxFlow-GRPO 奖励对扩散模型进行后训练：

• 在 T2I 对齐质量上一致提升
• 支持局部化图像精修（localized image refinement）
• 超越全局偏好优化（scalar preference optimization）的效果

---

六、技术启示：为什么"结构化"是下一代 AI 反馈的必然方向

6.1 从标量到热图到结构化实例

标量分数 (0D) → 热图 (2D 连续场) → 结构化实例集合 (可变基数)
     ↓              ↓                    ↓
  只知道"好/坏"  知道"哪里可能有问题"  知道"每个缺陷在哪里、什么类型、
                                              为什么重要、有多重要"

这个演进不是简单的"更密集"，而是表示范式的跃迁：

• 标量：全局聚合，信息损失最大
• 热图：连续空间，但无法区分实例边界
• 结构化实例：离散、语义显式、可直接操作

6.2 对扩散模型 RL 的启示

BoxFlow-GRPO 证明了一个重要原则：当奖励信号可以结构化地绑定到空间位置时，扩散模型的 RL 对齐可以从"全局调参"升级为"精准手术"。

这意味着未来的扩散模型微调可能：

• 针对特定区域（如人脸、手部）进行定向优化
• 根据语义类型（artifact vs misalignment）应用不同策略
• 按重要度优先修复高影响缺陷

6.3 对 VLM 任务的启示

Qwen3-VL 原生支持框、点等结构化输出，这与 SDG 的需求天然契合。这暗示了一个趋势：下一代 VLM 任务将从"生成文本描述"扩展到"生成结构化可操作对象"——bounding box、mask、keypoint、甚至 3D 包围盒。

---

七、局限与未来方向

7.1 当前局限

1. 边界模糊性：人类标注上界（BoxF1@0.5 ≈ 0.28-0.41）揭示了缺陷定位的固有主观性，结构化框表示可能 oversimplify 某些扩散型缺陷 2. 4B 模型规模：Qwen3-VL-4B 在复杂场景下的推理能力有限，更大模型可能进一步提升 3. 英文描述增强依赖 Gemini：SDG-30K 的人工标注是中文短描述，详细英文和推理轨迹由 Gemini 3 Pro 蒸馏，存在蒸馏偏差

7.2 未来方向

1. 多模态反馈：结合框、掩码、点序列（如 SimpleSeg）的混合表示 2. 实时诊断：将 SDG 集成到生成 pipeline 中，在推理过程中实时检测和修正 3. 用户交互：允许用户通过语音/文本指出缺陷，SDG 进行结构化理解和定位 4. 跨模态扩展：视频生成、3D 生成的缺陷诊断

---

八、结论：诊断即对齐

SDG 的最深远贡献不是某一个技术指标，而是它展示了一个统一的范式：

> 诊断和对齐不是两个独立的问题，而是同一个结构化表示的两个应用面。

当你能精确地说出"图像的左下角有一个 artifact（文字畸形），因为字体渲染错误，重要度 75"，你就同时拥有了：

• 诊断能力：理解模型为什么失败
• 评估能力：量化缺陷的感知影响
• 对齐能力：将缺陷转化为空间奖励指导模型学习
• 精修能力：将缺陷信息 feed 给图像编辑模型进行定向修复

这是从"黑盒打分"到"白盒手术"的范式跃迁。而范式跃迁，往往比单点优化更有价值。

---

参考论文

Zhang, H., Yu, H., Zhang, Y., Wang, J., Chen, X., Cao, H., Lu, F., Zhang, W., Yu, C., & Yuan, C. (2026). Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback. *arXiv preprint arXiv:2606.06113*.

代码与数据：https://github.com/nianbai006/SDG

#SDG #文生图 #扩散模型 #缺陷诊断 #结构化反馈 #T2I #Qwen3VL #GRPO #BoxFlow #强化学习 #计算机视觉 #AIGC #快手Kolors #清华大学