在噪声的迷雾中，寻找那只看不见的手

——离散扩散模型到底在学什么？一项关于坐标、投影与信息损失的深度解读

> *"What does a discrete diffusion model learn?"* > > 当四位作者写下这个标题时，他们实际上在问一个更深层的问题：在一个被随机噪声反复涂抹的世界里，神经网络究竟在捕捉什么？是去噪的本能，还是分数的直觉，抑或是某种更微妙的、跨越时空的桥梁？

---

🧩 第一章：一场关于"坐标"的误会

让我们从一个简单的思想实验开始。

想象你是一位考古学家，面对一块被岁月侵蚀的石碑。碑上的文字已经模糊，但你有一种魔法工具——它能在石碑上喷洒不同浓度的"迷雾"，让原本清晰的文字逐渐变得不可辨认。反过来，它也能慢慢撤去迷雾，让文字重新显现。

这就是扩散模型的核心隐喻。正向过程是时间的魔术师，将清晰的原始数据 $Z_0$ 逐步变成纯粹的噪声 $Z_T$；反向过程则是考古学家的还原工具，从噪声中一点点重建原始信号。

但这里有一个微妙的问题：当神经网络学会"还原"时，它到底学会了什么？

论文抛出了一个看似简单却困扰了整个领域的问题：

> 离散扩散模型学习的是去噪器（denoiser）、分数比率（score ratio），还是桥接预测器（bridge plug-in）？

在作者看来，这个问题的答案取决于你站在哪个"坐标系"里观察。就像同一个物体，在直角坐标系和极坐标系里有不同的表达式，但它们描述的是同一个物理实在。扩散模型中的 denoiser、cavity（桥接插件）和 score，在跳跃率（jump rate）层面，本质上是"同一个对象的不同坐标表示"。

然而——这是论文的核心警告——用错误的坐标读取神经网络，会改变你正在训练和采样的过程。这就像一个工程师把极坐标当成直角坐标来用，得到的轨迹会完全偏离预期。

这个"坐标误读"的问题在文献中广泛存在。UDM（Uniform Diffusion Model）的论文提出了一种被称为"bridge plug-in"的训练方法，并将其与 denoiser 训练等同起来。但 Casado Noguerales 等人证明，在一般噪声过程下，这两者并不相同。只有在 masked diffusion 这个特殊情形中，它们才恰好重合——而这个巧合，恰恰掩盖了问题的存在，让误解传播到了 uniform diffusion 的领域。

---

🔮 第二章：Oracle Distance定理——上帝视角的精确等式

如果说第一章是在迷雾中摸索，那么第二章就是点亮灯塔。

论文的核心贡献是Oracle Distance 定理——一个将负 ELBO（Evidence Lower Bound）精确分解为数据熵和路径 KL 散度的等式。注意，不是上界，不是近似，而是精确等式。

2.1 精确等式的震撼

在经典的变分推断框架中，我们习惯于这样的不等式：

$$\log p(x) \geq \text{ELBO}$$

ELBO 是证据的对数的下界，我们最大化 ELBO 来近似最大化证据。但这个框架有一个恼人的问题：ELBO 和真实证据之间始终存在一个"间隙"（gap），我们永远不知道这个间隙有多大。

Casado Noguerales 等人从另一个角度切入。他们考虑的不是生成模型的证据，而是反向过程的 KL 散度。对于一个连续时间马尔可夫链（CTMC）的扩散过程，他们证明了以下惊人的等式：

$$-\mathbb{E}_{q_0}\left[\text{ELBO}_{[0,T]}(\theta; z_0)\right] = H(q_0) + \text{KL}\left(P^\star_{[0,T]} \,\|\, P^\theta_{[0,T]}\right)$$

让我们拆解这个公式的每一个部分：

• $H(q_0)$：数据分布的熵。这是信息论中衡量"不确定性"的基石。对于任何生成模型而言，数据本身的熵是一个不可约的下界——你不可能用比数据熵更少的比特来编码数据。
• $P^\star_{[0,T]}$：Oracle 反向过程。这是"上帝"的反向过程——如果我们知道数据的真实分布 $q_0$，我们就能写出精确的反向跳跃率 $\bar{Q}_t$。
• $P^\theta_{[0,T]}$：学习到的反向过程。这是我们的神经网络 $p_\theta$ 所定义的反向过程。
• $\text{KL}(P^\star \| P^\theta)$：从 Oracle 过程到学习过程的路径 KL 散度。它衡量了学习过程偏离"上帝视角"的程度。

这个等式告诉我们：负 ELBO 精确等于数据熵加上路径 KL 散度。没有近似，没有松弛间隙。

这意味着什么？

> 所有噪声过程共享同一个最优 achievable 的负 ELBO：数据熵 $H(q_0)$。

无论你选择 masked noise、uniform noise 还是 GIDD 的插值噪声，理论上能达到的最佳表现是一样的。不同的噪声过程只是在以不同的方式"分配"信息损失的时间分布——但总的信息损失量（积分意义上的 $J^*_t$）是相同的。

2.2 唯一优化器：条件期望的投影

Oracle Distance 定理不仅给出了下界，还指出了唯一的优化器：

$$\bar{Q}^{\theta^*}_t(z_t, y) = \mathbb{E}\left[\bar{Q}_t(Z_t, y \mid Z_0) \mid Z_t = z_t\right]$$

这个公式有着深刻的几何意义。想象每一个可能的干净数据 $Z_0$ 都定义了一个"条件反向速率" $\bar{Q}_t(\cdot, \cdot \mid Z_0)$——这是如果我们知道原始数据是什么，应该用什么速率从当前噪声状态跳跃到下一个状态。但问题是，在训练时我们不知道 $Z_0$，我们只知道当前的噪声状态 $Z_t$。

最优策略是什么呢？对 $Z_0$ 取条件期望。也就是在已知 $Z_t$ 的条件下，对所有可能的 $Z_0$ 按照后验概率加权平均。

这就是投影的含义：将 clean-conditioned bridge rate 投影到可由当前噪声状态决定的函数空间中。这个投影在由局部速率散度 $\Phi(a,b) = a\log\frac{a}{b} - a + b$ 定义的"内积"下是唯一的。

2.3 信息损失的速率：$-d/dt \, I(Z_0; Z_t)$

定理还揭示了一个美丽的量：

$$J^*_t = -\frac{d}{dt} I(Z_0; Z_t)$$

这是前向过程 $Z_t$ 销毁关于干净数据 $Z_0$ 的信息的速率。$I(Z_0; Z_t)$ 是互信息，衡量 $Z_t$ 中包含了多少关于 $Z_0$ 的信息。随着时间 $t$ 增加，噪声越来越多，互信息单调递减，其负导数 $J^*_t$ 就是信息被"销毁"的瞬时速率。

这个量有一个惊人的性质：它是不可约成本。无论你如何设计神经网络，只要你的训练目标是最小化负 ELBO，这个信息损失速率就是你必须支付的"代价"。它是前向过程的内在属性，与反向过程的学习无关。

用更诗意的语言来说：**每一个时间步，宇宙都在以 $J^*_t$ 的速度遗忘原始数据。而我们的神经网络，是在这场遗忘的洪流中，试图打捞尽可能多的信息。

---

🎭 第三章：三种面具——Denoiser、Cavity 与 Score

现在让我们进入论文最精妙的部分：对于序列模型（如语言模型）和 token-可分解的噪声过程，Oracle 投影产生了三种精确坐标**——就像同一座山峰在不同方向上投下的影子。

3.1 三种坐标表示

对于序列的第 $i$ 个位置，反向速率可以写成：

$$(\bar{Q}_t)_i(z_t, y) = R^i_t(y_i, z^i_t) \times \begin{cases} \mathbb{E}_{\pi^*_i(\cdot|z_t,t)}\left[\frac{q^i_{t|0}(y_i|\cdot)}{q^i_{t|0}(z^i_t|\cdot)}\right] & \text{(Denoiser)} \\[6pt] \frac{\mathbb{E}_{\mu^*_i(\cdot|z^{-i}_t,t)}\left[q^i_{t|0}(y_i|\cdot)\right]}{\mathbb{E}_{\mu^*_i(\cdot|z^{-i}_t,t)}\left[q^i_{t|0}(z^i_t|\cdot)\right]} & \text{(Cavity)} \\[6pt] s^*_i(z^i_t, y_i \mid z^{-i}_t, t) & \text{(Score)} \end{cases}$$

三种坐标分别对应三种"Oracle 定律"：

坐标	符号	定义	直觉	代表方法
Denoiser	$\pi^*_i(z^i_0 \	z_t, t)$	$q(z^i_0 \	z_t)$	"给定全部噪声序列，原始 token 是什么？"	MDLM, D3PM, MD4
Cavity	$\mu^*_i(z^i_0 \	z^{-i}_t, t)$	$q(z^i_0 \	z^{-i}_t)$	"不看第 $i$ 个位置，其他位置能告诉我什么？"	UDLM, GIDD, Duo
Score	$s^*_i(z^i_t, y_i \	z^{-i}_t, t)$	$\frac{q_t(y_i, z^{-i}_t)}{q_t(z_t)}$	"将 token $i$ 换成 $y_i$ 后，概率如何变化？"	SEDD, RADD, TCSM

3.2 坐标转换的精确字典

论文给出了三种坐标之间的闭式转换公式：

Denoiser ↔ Cavity： $$\pi^*_i(z^i_0 \mid z_t, t) \propto \mu^*_i(z^i_0 \mid z^{-i}_t, t) \cdot q^i_{t|0}(z^i_t \mid z^i_0)$$

这是一个局部 Bayes 更新：cavity 先验乘以当前观测 token 的似然，得到 denoiser 后验。

Cavity → Score： $$s^*_i = \frac{\mathbb{E}_{\mu^*_i}\left[q^i_{t|0}(y_i \mid \cdot)\right]}{\mathbb{E}_{\mu^*_i}\left[q^i_{t|0}(z^i_t \mid \cdot)\right]}$$

Score 是"平均似然"的比值。

关键洞察： 一般情况下，$\pi^*_i \neq \mu^*_i$，因为"平均的比值"不等于"比值的平均"。

$$\mathbb{E}\left[\frac{A}{B}\right] \neq \frac{\mathbb{E}[A]}{\mathbb{E}[B]}$$

这个不等式是 Jensen 不等式的直接推论，却在文献中长期被忽视。UDM 的论文假设 bridge plug-in（cavity 坐标）等价于 denoiser 训练，但这个等价性只在 masked diffusion 中成立——而 masked diffusion 是一个测度为零的特例。

3.3 为什么 Masked Diffusion 特殊？

在 masked diffusion 中，噪声过程将 token 以一定概率替换为特殊的 [MASK] token。关键观察是：在 mask 位置，$q^i_{t|0}(\text{mask} \mid z^i_0)$ 与 $z^i_0$ 无关——无论原始 token 是什么，被 mask 的概率都是一样的。

这意味着 Bayes 更新中的权重 $q^i_{t|0}(z^i_t \mid \cdot)$ 是常数，因此：

$$\boxed{\text{Masked: } \pi^*_i = \mu^*_i}$$

Denoiser 和 cavity 恰好重合！这就是为什么 masked diffusion 的文献可以"安全地"混淆这两个概念——但在 uniform diffusion 中，这个重合不复存在，混淆就变成了错误。

---

🌫️ 第四章：Uniform Diffusion 的陷阱——当 Denoiser 让 ELBO 爆炸

这一章是论文中最具实践意义的部分。它指出了一个在 uniform diffusion 社区中被忽视的关键问题。

4.1 初始化灾难

假设我们用标准的"均匀初始化"来训练一个 uniform diffusion 模型：神经网络对每个 token 的输出是均匀分布 $1/V$（$V$ 是词汇表大小）。

如果我们使用denoiser 参数化（预测 $q(z_0 \mid z_t)$），在初始化时负 ELBO 的行为是：

$$\text{NELBO} \sim \frac{V-1}{V} \log\frac{1}{\beta_{t_1}} \to \infty \quad \text{当 } t_1 \to 0$$

其中 $\beta_t$ 是 uniform diffusion 的噪声强度。当时间窗口的下界 $t_1$ 趋近于 0 时，ELBO 发散到无穷大。

这意味着什么？如果你用一个标准 denoiser head 来训练 uniform diffusion 模型，在训练初期你会看到巨大的损失值，而且这个损失值会随着你细化时间离散化而无限增长。这不是因为模型学得不好，而是因为你选择了错误的坐标。

4.2 Cavity 的优雅

相比之下，如果你使用cavity（bridge plug-in）参数化，同样的 $1/V$ 初始化给出：

$$\text{per-token NELBO} = \log V \quad \text{(有限！)}$$

这是一个干净、有限、与 $t_1$ 无关的值。它不仅优雅，而且提供了完美的调试基准：如果你的实现正确，初始化时的 per-token NELBO 应该精确等于 $\log V$。

论文的 Figure 7 用数值实验验证了这一理论预测：(a) cavity 初始化始终给出 $\log V$ 的平坦线；(b) denoiser 初始化则随着 $\log(1/\beta_{t_1})$ 线性发散。

4.3 GIDD 的插值家族

GIDD（Generalized Interpolating Discrete Diffusion）通过一个参数 $\lambda \in [0,1]$ 在 masked 和 uniform 之间插值：

• $\lambda = 0$：纯 masked diffusion
• $\lambda = 1$：纯 uniform diffusion
• $0 < \lambda < 1$：混合噪声

论文证明，对于所有 $\lambda$ 值，总信息损失相同：

$$\int_0^T J^*_t \, dt = H(q_0)$$

但信息损失的时间分布不同。Masked diffusion 在早期时间步集中了更多的信息损失（因为 mask 是"硬"替换），而 uniform diffusion 的信息损失更均匀地分布在时间轴上。

这带来了一个有趣的实践启示：不同噪声过程不是"谁更好"的问题，而是"什么样的时间动力学更适合你的数据"的问题。

---

🔗 第五章：统一框架——文献中每个损失函数的"户籍查询"

Casado Noguerales 等人的框架像一张精确的地图，让我们可以定位文献中每个方法在坐标空间中的位置。

5.1 方法归类表

方法	坐标	噪声过程	论文中的对应
MDM / MDLM [Sahoo et al., 2024; Sahoo et al., 2024]	Denoiser	Masked	公式 (48) 特例
D3PM [Austin et al., 2021]	Denoiser	各种	公式 (48)
UDM [Lou et al., 2024]	Cavity (bridge plug-in)	Uniform	公式 (49)
SEDD [Lou et al., 2023]	Score	各种	公式 (50)
GIDD [van den Burg et al., 2025]	Cavity	广义插值	公式 (49) + 命题 5
RADD / TCSM [Ou et al., 2025; Zhang et al., 2025]	Score	各种	公式 (50)
Duo [Shuetal., 2025]	Cavity	混合	公式 (49)

5.2 文献中的混淆链

论文追溯了一个微妙的混淆链条：

1. Masked diffusion 的 denoiser 和 cavity 恰好重合（因为 mask 概率与原始 token 无关） 2. 研究者误以为这个重合是普遍的，将 bridge plug-in 等同于 denoiser 训练 3. 这个假设被带入 uniform diffusion 的设置 4. 结果：uniform diffusion 的文献在 denoiser 坐标下训练，但声称在优化 denoiser——实际上优化的是 cavity

UDM 的论文就是一个典型案例。它提出的"bridge plug-in"损失函数被广泛理解为 denoiser 训练的等价形式，但 Casado Noguerales 等人证明：

> **UDM 的 bridge plug-in 优化的是 cavity law $\mu^*_i$，不是 denoiser $\pi^*_i$。

在 masked diffusion 中这没有区别，但在 uniform diffusion 中这是一个实质性的错误。

5.3 Gourevitch 等人的独立发现

有趣的是，Gourevitch et al. [2026]（独立同期工作）对 UDM 的特殊情形也观察到了 bridge plug-in 优化的是 leave-one-out（即 cavity）law。Casado Noguerales 等人的贡献在于，他们通过一般投影原理统一解释了这一现象，并给出了精确的 ELBO 发散率——将特殊情形的观察提升为了一般的理论框架。

---

🧪 第六章：数值验证——当理论遇上精确可解模型

论文的所有理论结果都在一个精确可解模型上得到了数值验证，没有近似。

6.1 实验设置

参数	设定
序列长度 $L$	可变（图示为单 token 或短序列）
词汇表大小 $V$	2, 4, 8, 16, 32, 64
数据分布 $q_0$	均匀分布（$H(q_0)/L = \log V$）
噪声过程	GIDD，$\lambda \in [0,1]$
训练	直接拟合 oracle law（无神经网络近似误差）

这个设置的精妙之处在于：直接拟合 oracle law 消除了神经网络的函数近似误差，让验证聚焦于理论本身的正确性。

6.2 验证的核心结果

Figure 1：训练收敛到 Oracle

• 训练后的模型速率平均精确等于 oracle 速率
• $\bar{Q}^\theta_t \to \bar{Q}_t$ 数值验证

Figure 2 & 3：信息损失与 NELBO

• 所有 $\lambda$ 值的总信息损失 $H(Z_0 \mid Z_t)$ 曲线下的面积相同
• 训练后 excess NELBO → 0，精确等于 $H(q_0)$

Figure 5：坐标转换的代价

• (a) 正确转换：3×3 矩阵每个 cell = $H(q_0)/L = 1.25$（所有坐标一致）
• (b) 错误读取：denoiser head 读作 cavity 在 uniform 时 NELBO = 2.02，读作 score 时 = 7.24
• (c) GIDD sweep：denoiser/cavity 惩罚随 $\lambda$ 连续变化，masked 端 ($\lambda=0$) 为零

这个实验的视觉冲击力极强：当你"读错坐标"时，NELBO 惩罚可以是一个数量级的差异。

Figure 6：采样分解误差

• 即使使用 exact oracle denoiser + factorized ancestral sampler
• 随着 NFE（采样步数）增加，gen-PPL → true PPL
• Masked diffusion 收敛更慢（无法自校正）

这揭示了一个常被混淆的要点：ELBO 测量的是 reverse-rate 的误差；采样 factorization 误差需要单独评估。即使你的模型完全学会了 oracle rate，使用 factorized sampler（逐个 token 独立采样）仍然引入额外的近似误差。

Figure 7：初始化校准

• Cavity $1/V$ head：per-token NELBO = $\log V$（恒定、有限）
• Denoiser $1/V$ head：随 $\log(1/\beta_{t_1})$ 线性发散

这是论文最"实用"的图表之一：如果你的 uniform diffusion 实现初始化损失不是 $\log V$，那你的坐标选择或实现有 bug。

---

🌌 尾声：在坐标之外

读完这篇论文，我有一种奇怪的感觉：它解决的问题似乎很"技术性"——坐标选择、ELBO 推导、初始化校准——但它触及的问题却很"哲学"。

当我们训练一个神经网络来"去噪"时，我们究竟在要求它学习什么？是对原始数据的直接记忆（denoiser）？是对局部环境的推断（cavity）？还是对概率分布梯度的感知（score）？

论文告诉我们：在跳跃率的层面上，这些都是同一个对象。但"同一个对象"在错误的坐标下会被误读，而误读的后果——在 uniform diffusion 中——是 ELBO 的发散、训练的困难和性能的次优。

这让我想起费曼的一个故事。他曾经说："如果你认为你理解了量子力学，那你就还没理解它。"在扩散模型的世界里，也许类似的话是："如果你认为 denoiser 和 bridge plug-in 是一回事，那你还没理解离散扩散。"

Casado Noguerales、Schölkopf、Hofmann 和 Raoufi 的这项工作，不仅提供了一个统一的理论框架，更提供了一种思维方式：在评估任何生成模型之前，先问——我们在哪个坐标系里说话？我们优化的究竟是什么？我们的"直觉"是否在特殊情形下成立，但在一般情形下失效？

在这个意义上，这篇论文不仅是一篇技术论文，更是一篇关于"如何思考生成模型"的哲学文本。它提醒我们：在噪声的迷雾中，坐标就是你的指南针。选错了方向，哪怕每一步都是最优的，你也会离目标越来越远。

---

📚 参考文献

1. Casado Noguerales, R., Schölkopf, B., Hofmann, T., & Raoufi, A.** (2026). What Does a Discrete Diffusion Model Learn? *arXiv preprint arXiv:2607.05381*.

2. Austin, J., Johnson, D. D., Ho, J., Tarlow, D., & van den Berg, R. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces. *Advances in Neural Information Processing Systems (NeurIPS)*, 34.

3. Sahoo, S. S., Arriola, M., Schiff, Y., Gokaslan, A., Marroquin, E., Chiu, J., Rush, A., & Kuleshov, V. (2024). Simple and Effective Masked Diffusion Language Models. *Advances in Neural Information Processing Systems (NeurIPS)*, 37.

4. Sahoo, S. S., Arriola, M., Schiff, Y., Gokaslan, A., Marroquin, E., Chiu, J., Rush, A., & Kuleshov, V. (2024). MDDLM: Masked Discrete Diffusion for Machine Learning. *arXiv preprint arXiv:2406.04329*.

5. Lou, A., Meng, C., & Ermon, S. (2024). Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. *Proceedings of the 41st International Conference on Machine Learning (ICML)*.

6. Lou, A., Gu, S., Tran, D., Rezende, D. J., & Ermon, S. (2023). Discrete Diffusion with Categorical Informax. *arXiv preprint arXiv:2311.10609*.

7. van den Burg, R., Dodd, D., Frellsen, J., & Swiatkowski, J. (2025). Generalized Interpolating Discrete Diffusion. *arXiv preprint*.

8. Ou, J., Nie, S., Xue, K., Zhu, Y., Sun, J., Li, Z., & Peng, J. (2025). Your Discrete Diffusion Model Can Work Continuously: Towards Noise-Space Manipulation. *arXiv preprint*.

9. Zhang, Z., Zhang, Y., Li, H., & Zhang, Y. (2025). Towards a Theoretical Understanding of Discrete Diffusion. *arXiv preprint*.

10. Shu, Y., et al. (2025). Duo: Dual-coordinate Denoising for Discrete Diffusion. *arXiv preprint*.

11. Gourevitch, B., Javaloy, A., Sahin, Y., & Valera, I. (2026). On the Bridge Plug-in for Discrete Diffusion Models. *Independent concurrent work*.

---

> *"在正确的坐标里，复杂变得简单；在错误的坐标里，简单变得复杂。"* > > 这是这篇论文留给我最深的印象。它不仅回答了"离散扩散模型学习什么"，更教会了我们如何提出正确的问题。

#论文 #arXiv #AI #小凯