在噪声的迷雾中，寻找那只看不见的手

——离散扩散模型到底在学什么？一项关于坐标、投影与信息损失的深度解读

"What does a discrete diffusion model learn?"

当四位作者写下这个标题时，他们实际上在问一个更深层的问题：在一个被随机噪声反复涂抹的世界里，神经网络究竟在捕捉什么？是去噪的本能，还是分数的直觉，抑或是某种更微妙的、跨越时空的桥梁？

🧩 第一章：一场关于"坐标"的误会

让我们从一个简单的思想实验开始。

想象你是一位考古学家，面对一块被岁月侵蚀的石碑。碑上的文字已经模糊，但你有一种魔法工具——它能在石碑上喷洒不同浓度的"迷雾"，让原本清晰的文字逐渐变得不可辨认。反过来，它也能慢慢撤去迷雾，让文字重新显现。

这就是扩散模型的核心隐喻。正向过程是时间的魔术师，将清晰的原始数据 \(Z_0\) 逐步变成纯粹的噪声 \(Z_T\)；反向过程则是考古学家的还原工具，从噪声中一点点重建原始信号。

但这里有一个微妙的问题：当神经网络学会"还原"时，它到底学会了什么？

论文抛出了一个看似简单却困扰了整个领域的问题：

离散扩散模型学习的是去噪器（denoiser）、分数比率（score ratio），还是桥接预测器（bridge plug-in）？

在作者看来，这个问题的答案取决于你站在哪个"坐标系"里观察。就像同一个物体，在直角坐标系和极坐标系里有不同的表达式，但它们描述的是同一个物理实在。扩散模型中的 denoiser、cavity（桥接插件）和 score，在**跳跃率（jump rate）**层面，本质上是"同一个对象的不同坐标表示"。

然而——这是论文的核心警告——用错误的坐标读取神经网络，会改变你正在训练和采样的过程。这就像一个工程师把极坐标当成直角坐标来用，得到的轨迹会完全偏离预期。

这个"坐标误读"的问题在文献中广泛存在。UDM（Uniform Diffusion Model）的论文提出了一种被称为"bridge plug-in"的训练方法，并将其与 denoiser 训练等同起来。但 Casado Noguerales 等人证明，在一般噪声过程下，这两者并不相同。只有在 masked diffusion 这个特殊情形中，它们才恰好重合——而这个巧合，恰恰掩盖了问题的存在，让误解传播到了 uniform diffusion 的领域。

🔮 第二章：Oracle Distance定理——上帝视角的精确等式

如果说第一章是在迷雾中摸索，那么第二章就是点亮灯塔。

论文的核心贡献是Oracle Distance 定理——一个将负 ELBO（Evidence Lower Bound）精确分解为数据熵和路径 KL 散度的等式。注意，不是上界，不是近似，而是精确等式。

2.1 精确等式的震撼

在经典的变分推断框架中，我们习惯于这样的不等式：

ELBO 是证据的对数的下界，我们最大化 ELBO 来近似最大化证据。但这个框架有一个恼人的问题：ELBO 和真实证据之间始终存在一个"间隙"（gap），我们永远不知道这个间隙有多大。

Casado Noguerales 等人从另一个角度切入。他们考虑的不是生成模型的证据，而是反向过程的 KL 散度。对于一个连续时间马尔可夫链（CTMC）的扩散过程，他们证明了以下惊人的等式：

让我们拆解这个公式的每一个部分：

• \(H(q_0)\)：数据分布的熵。这是信息论中衡量"不确定性"的基石。对于任何生成模型而言，数据本身的熵是一个不可约的下界——你不可能用比数据熵更少的比特来编码数据。
• \(P^\star_{[0,T]}\)：Oracle 反向过程。这是"上帝"的反向过程——如果我们知道数据的真实分布 \(q_0\)，我们就能写出精确的反向跳跃率 \(\bar{Q}_t\)。
• \(P^\theta_{[0,T]}\)：学习到的反向过程。这是我们的神经网络 \(p_\theta\) 所定义的反向过程。
• \(\text{KL}(P^\star \| P^\theta)\)：从 Oracle 过程到学习过程的路径 KL 散度。它衡量了学习过程偏离"上帝视角"的程度。

这个等式告诉我们：负 ELBO 精确等于数据熵加上路径 KL 散度。没有近似，没有松弛间隙。

这意味着什么？

所有噪声过程共享同一个最优 achievable 的负 ELBO：数据熵 \(H(q_0)\)。

无论你选择 masked noise、uniform noise 还是 GIDD 的插值噪声，理论上能达到的最佳表现是一样的。不同的噪声过程只是在以不同的方式"分配"信息损失的时间分布——但总的信息损失量（积分意义上的 \(J^*_t\)）是相同的。

2.2 唯一优化器：条件期望的投影

Oracle Distance 定理不仅给出了下界，还指出了唯一的优化器：

这个公式有着深刻的几何意义。想象每一个可能的干净数据 \(Z_0\) 都定义了一个"条件反向速率" \(\bar{Q}_t(\cdot, \cdot \mid Z_0)\)——这是如果我们知道原始数据是什么，应该用什么速率从当前噪声状态跳跃到下一个状态。但问题是，在训练时我们不知道 \(Z_0\)，我们只知道当前的噪声状态 \(Z_t\)。

最优策略是什么呢？对 \(Z_0\) 取条件期望。也就是在已知 \(Z_t\) 的条件下，对所有可能的 \(Z_0\) 按照后验概率加权平均。

这就是投影的含义：将 clean-conditioned bridge rate 投影到可由当前噪声状态决定的函数空间中。这个投影在由局部速率散度 \(\Phi(a,b) = a\log\frac{a}{b} - a + b\) 定义的"内积"下是唯一的。

2.3 信息损失的速率：\(-d/dt \, I(Z_0; Z_t)\)

定理还揭示了一个美丽的量：

这是前向过程 \(Z_t\) 销毁关于干净数据 \(Z_0\) 的信息的速率。\(I(Z_0; Z_t)\) 是互信息，衡量 \(Z_t\) 中包含了多少关于 \(Z_0\) 的信息。随着时间 \(t\) 增加，噪声越来越多，互信息单调递减，其负导数 \(J^*_t\) 就是信息被"销毁"的瞬时速率。

这个量有一个惊人的性质：它是不可约成本。无论你如何设计神经网络，只要你的训练目标是最小化负 ELBO，这个信息损失速率就是你必须支付的"代价"。它是前向过程的内在属性，与反向过程的学习无关。

用更诗意的语言来说：每一个时间步，宇宙都在以 \(J^*_t\) 的速度遗忘原始数据。而我们的神经网络，是在这场遗忘的洪流中，试图打捞尽可能多的信息。

🎭 第三章：三种面具——Denoiser、Cavity 与 Score

现在让我们进入论文最精妙的部分：对于序列模型（如语言模型）和 token-可分解的噪声过程，Oracle 投影产生了三种精确坐标——就像同一座山峰在不同方向上投下的影子。

3.1 三种坐标表示

对于序列的第 \(i\) 个位置，反向速率可以写成：

三种坐标分别对应三种"Oracle 定律"：

3.2 坐标转换的精确字典

论文给出了三种坐标之间的闭式转换公式：

Denoiser ↔ Cavity：

这是一个局部 Bayes 更新：cavity 先验乘以当前观测 token 的似然，得到 denoiser 后验。

Cavity → Score：

Score 是"平均似然"的比值。

关键洞察： 一般情况下，\(\pi^*_i \neq \mu^*_i\)，因为**"平均的比值"不等于"比值的平均"**。

这个不等式是 Jensen 不等式的直接推论，却在文献中长期被忽视。UDM 的论文假设 bridge plug-in（cavity 坐标）等价于 denoiser 训练，但这个等价性只在 masked diffusion 中成立——而 masked diffusion 是一个测度为零的特例。

3.3 为什么 Masked Diffusion 特殊？

在 masked diffusion 中，噪声过程将 token 以一定概率替换为特殊的 [MASK] token。关键观察是：在 mask 位置，\(q^i_{t|0}(\text{mask} \mid z^i_0)\) 与 \(z^i_0\) 无关——无论原始 token 是什么，被 mask 的概率都是一样的。

这意味着 Bayes 更新中的权重 \(q^i_{t|0}(z^i_t \mid \cdot)\) 是常数，因此：

Denoiser 和 cavity 恰好重合！这就是为什么 masked diffusion 的文献可以"安全地"混淆这两个概念——但在 uniform diffusion 中，这个重合不复存在，混淆就变成了错误。

🌫️ 第四章：Uniform Diffusion 的陷阱——当 Denoiser 让 ELBO 爆炸

这一章是论文中最具实践意义的部分。它指出了一个在 uniform diffusion 社区中被忽视的关键问题。

4.1 初始化灾难

假设我们用标准的"均匀初始化"来训练一个 uniform diffusion 模型：神经网络对每个 token 的输出是均匀分布 \(1/V\)（\(V\) 是词汇表大小）。

如果我们使用denoiser 参数化（预测 \(q(z_0 \mid z_t)\)），在初始化时负 ELBO 的行为是：

其中 \(\beta_t\) 是 uniform diffusion 的噪声强度。当时间窗口的下界 \(t_1\) 趋近于 0 时，ELBO 发散到无穷大。

这意味着什么？如果你用一个标准 denoiser head 来训练 uniform diffusion 模型，在训练初期你会看到巨大的损失值，而且这个损失值会随着你细化时间离散化而无限增长。这不是因为模型学得不好，而是因为你选择了错误的坐标。

4.2 Cavity 的优雅

相比之下，如果你使用cavity（bridge plug-in）参数化，同样的 \(1/V\) 初始化给出：

这是一个干净、有限、与 \(t_1\) 无关的值。它不仅优雅，而且提供了完美的调试基准：如果你的实现正确，初始化时的 per-token NELBO 应该精确等于 \(\log V\)。

论文的 Figure 7 用数值实验验证了这一理论预测：(a) cavity 初始化始终给出 \(\log V\) 的平坦线；(b) denoiser 初始化则随着 \(\log(1/\beta_{t_1})\) 线性发散。

4.3 GIDD 的插值家族

GIDD（Generalized Interpolating Discrete Diffusion）通过一个参数 \(\lambda \in [0,1]\) 在 masked 和 uniform 之间插值：

• \(\lambda = 0\)：纯 masked diffusion
• \(\lambda = 1\)：纯 uniform diffusion
• \(0 < \lambda < 1\)：混合噪声

论文证明，对于所有 \(\lambda\) 值，总信息损失相同：

但信息损失的时间分布不同。Masked diffusion 在早期时间步集中了更多的信息损失（因为 mask 是"硬"替换），而 uniform diffusion 的信息损失更均匀地分布在时间轴上。

这带来了一个有趣的实践启示：不同噪声过程不是"谁更好"的问题，而是"什么样的时间动力学更适合你的数据"的问题。

🔗 第五章：统一框架——文献中每个损失函数的"户籍查询"

Casado Noguerales 等人的框架像一张精确的地图，让我们可以定位文献中每个方法在坐标空间中的位置。

5.1 方法归类表

5.2 文献中的混淆链

论文追溯了一个微妙的混淆链条：

1. Masked diffusion 的 denoiser 和 cavity 恰好重合（因为 mask 概率与原始 token 无关）
2. 研究者误以为这个重合是普遍的，将 bridge plug-in 等同于 denoiser 训练
3. 这个假设被带入 uniform diffusion 的设置
4. 结果：uniform diffusion 的文献在 denoiser 坐标下训练，但声称在优化 denoiser——实际上优化的是 cavity

UDM 的论文就是一个典型案例。它提出的"bridge plug-in"损失函数被广泛理解为 denoiser 训练的等价形式，但 Casado Noguerales 等人证明：

UDM 的 bridge plug-in 优化的是 cavity law \(\mu^*_i\)，不是 denoiser \(\pi^*_i\)。

在 masked diffusion 中这没有区别，但在 uniform diffusion 中这是一个实质性的错误。

5.3 Gourevitch 等人的独立发现

有趣的是，Gourevitch et al. [2026]（独立同期工作）对 UDM 的特殊情形也观察到了 bridge plug-in 优化的是 leave-one-out（即 cavity）law。Casado Noguerales 等人的贡献在于，他们通过一般投影原理统一解释了这一现象，并给出了精确的 ELBO 发散率——将特殊情形的观察提升为了一般的理论框架。

🧪 第六章：数值验证——当理论遇上精确可解模型

论文的所有理论结果都在一个精确可解模型上得到了数值验证，没有近似。

6.1 实验设置

这个设置的精妙之处在于：直接拟合 oracle law 消除了神经网络的函数近似误差，让验证聚焦于理论本身的正确性。

6.2 验证的核心结果

Figure 1：训练收敛到 Oracle

• 训练后的模型速率平均精确等于 oracle 速率
• \(\bar{Q}^\theta_t \to \bar{Q}_t\) 数值验证

Figure 2 & 3：信息损失与 NELBO

• 所有 \(\lambda\) 值的总信息损失 \(H(Z_0 \mid Z_t)\) 曲线下的面积相同
• 训练后 excess NELBO → 0，精确等于 \(H(q_0)\)

Figure 5：坐标转换的代价

• (a) 正确转换：3×3 矩阵每个 cell = \(H(q_0)/L = 1.25\)（所有坐标一致）
• (b) 错误读取：denoiser head 读作 cavity 在 uniform 时 NELBO = 2.02，读作 score 时 = 7.24
• (c) GIDD sweep：denoiser/cavity 惩罚随 \(\lambda\) 连续变化，masked 端 (\(\lambda=0\)) 为零

这个实验的视觉冲击力极强：当你"读错坐标"时，NELBO 惩罚可以是一个数量级的差异。

Figure 6：采样分解误差

• 即使使用 exact oracle denoiser + factorized ancestral sampler
• 随着 NFE（采样步数）增加，gen-PPL → true PPL
• Masked diffusion 收敛更慢（无法自校正）

这揭示了一个常被混淆的要点：ELBO 测量的是 reverse-rate 的误差；采样 factorization 误差需要单独评估。即使你的模型完全学会了 oracle rate，使用 factorized sampler（逐个 token 独立采样）仍然引入额外的近似误差。

Figure 7：初始化校准

• Cavity \(1/V\) head：per-token NELBO = \(\log V\)（恒定、有限）
• Denoiser \(1/V\) head：随 \(\log(1/\beta_{t_1})\) 线性发散

这是论文最"实用"的图表之一：如果你的 uniform diffusion 实现初始化损失不是 \(\log V\)，那你的坐标选择或实现有 bug。

🌌 尾声：在坐标之外

读完这篇论文，我有一种奇怪的感觉：它解决的问题似乎很"技术性"——坐标选择、ELBO 推导、初始化校准——但它触及的问题却很"哲学"。

当我们训练一个神经网络来"去噪"时，我们究竟在要求它学习什么？是对原始数据的直接记忆（denoiser）？是对局部环境的推断（cavity）？还是对概率分布梯度的感知（score）？

论文告诉我们：在跳跃率的层面上，这些都是同一个对象。但"同一个对象"在错误的坐标下会被误读，而误读的后果——在 uniform diffusion 中——是 ELBO 的发散、训练的困难和性能的次优。

这让我想起费曼的一个故事。他曾经说："如果你认为你理解了量子力学，那你就还没理解它。"在扩散模型的世界里，也许类似的话是："如果你认为 denoiser 和 bridge plug-in 是一回事，那你还没理解离散扩散。"

Casado Noguerales、Schölkopf、Hofmann 和 Raoufi 的这项工作，不仅提供了一个统一的理论框架，更提供了一种思维方式：在评估任何生成模型之前，先问——我们在哪个坐标系里说话？我们优化的究竟是什么？我们的"直觉"是否在特殊情形下成立，但在一般情形下失效？

在这个意义上，这篇论文不仅是一篇技术论文，更是一篇关于"如何思考生成模型"的哲学文本。它提醒我们：在噪声的迷雾中，坐标就是你的指南针。选错了方向，哪怕每一步都是最优的，你也会离目标越来越远。

📚 参考文献

1. Casado Noguerales, R., Schölkopf, B., Hofmann, T., & Raoufi, A. (2026). What Does a Discrete Diffusion Model Learn? arXiv preprint arXiv:2607.05381.

2. Austin, J., Johnson, D. D., Ho, J., Tarlow, D., & van den Berg, R. (2021). Structured Denoising Diffusion Models in Discrete State-Spaces. Advances in Neural Information Processing Systems (NeurIPS), 34.

3. Sahoo, S. S., Arriola, M., Schiff, Y., Gokaslan, A., Marroquin, E., Chiu, J., Rush, A., & Kuleshov, V. (2024). Simple and Effective Masked Diffusion Language Models. Advances in Neural Information Processing Systems (NeurIPS), 37.

4. Sahoo, S. S., Arriola, M., Schiff, Y., Gokaslan, A., Marroquin, E., Chiu, J., Rush, A., & Kuleshov, V. (2024). MDDLM: Masked Discrete Diffusion for Machine Learning. arXiv preprint arXiv:2406.04329.

5. Lou, A., Meng, C., & Ermon, S. (2024). Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution. Proceedings of the 41st International Conference on Machine Learning (ICML).

6. Lou, A., Gu, S., Tran, D., Rezende, D. J., & Ermon, S. (2023). Discrete Diffusion with Categorical Informax. arXiv preprint arXiv:2311.10609.

7. van den Burg, R., Dodd, D., Frellsen, J., & Swiatkowski, J. (2025). Generalized Interpolating Discrete Diffusion. arXiv preprint.

8. Ou, J., Nie, S., Xue, K., Zhu, Y., Sun, J., Li, Z., & Peng, J. (2025). Your Discrete Diffusion Model Can Work Continuously: Towards Noise-Space Manipulation. arXiv preprint.

9. Zhang, Z., Zhang, Y., Li, H., & Zhang, Y. (2025). Towards a Theoretical Understanding of Discrete Diffusion. arXiv preprint.

10. Shu, Y., et al. (2025). Duo: Dual-coordinate Denoising for Discrete Diffusion. arXiv preprint.

11. Gourevitch, B., Javaloy, A., Sahin, Y., & Valera, I. (2026). On the Bridge Plug-in for Discrete Diffusion Models. Independent concurrent work.

"在正确的坐标里，复杂变得简单；在错误的坐标里，简单变得复杂。"

这是这篇论文留给我最深的印象。它不仅回答了"离散扩散模型学习什么"，更教会了我们如何提出正确的问题。

#论文 #arXiv #AI #小凯