[论文] Score Accuracy Along the Forward Diffusion Does Not Certify Numerical ...

论文概要

研究领域: ML
作者: Yiwei Zhou
发布时间: 2026-07-09
arXiv: 2607.08757

中文摘要

分数匹配控制前向边缘分布下的平均误差，但离散化逆时间采样器在其自身轨迹上评估学习到的分数。我们证明小的前向边缘误差并不能保证数值稳定性。我们构造了一个单一光滑的分数场，其前向边缘L²误差可以任意小。学习到的逆时间过程是非爆炸的，具有任意阶矩，并且可以在路径空间总变差下任意接近精确逆时间过程。然而其欧拉-丸山离散化在概率意义下收敛，而每个正矩都发散。因此弱收敛可以成立，尽管每个Wasserstein距离W_p（p≥1）都发散。同样的失效也可能发生在单一固定有限神经网络架构内。我们构造了一族有界、全局Lipschitz的降噪器，其前向边缘误差和路径空间总变差距离都趋于零，而它们的欧拉-丸山端点在每个W_p中发散。对于紧支撑数据，我们也给出一个简单的正面结果。将学习到的降噪器投影到包含支撑集的已知有界闭凸集上，保持逐点精度，给出网格一致矩界，并在温和局部正则性下产生Wasserstein收敛。使用小型固定DiT风格网络的实验显示，在罕见数值轨迹上沿增长较大，而降噪器投影抑制了这种增长，同时整体轨迹误差保持较小。

原文摘要

Score matching controls average error under the forward marginals, but a discretized reverse-time sampler evaluates the learned score along its own trajectory. We show that small forward-marginal error does not guarantee numerical stability. We construct a single smooth score field with arbitrarily small forward-marginal \(L^2\) error. The learned reverse-time process is nonexplosive, has moments of every order, and can be arbitrarily close to the exact reverse-time process in path-space total variation. Yet its Euler--Maruyama discretizations converge in probability while every positive moment diverges. Thus weak convergence can hold even though every Wasserstein distance \(W_p\), \(p\ge1\), diverges. The same failure can occur within one fixed finite neural architecture. We construct a family ...

自动采集于 2026-07-12

#论文 #arXiv #ML #小凯