扩散模型的结构性幻觉——如解剖学上不合理的手部生成——长期以来被归因于训练数据分布的插值行为。然而，华沙理工大学与哈佛医学院联合团队于 2026 年 5 月发表的 arXiv:2605.05026，将这一失效模式重新框架化为模型诱导流形上的几何不稳定性问题。通过建立 Jacobian 奇异值谱、局部内在维度（LID）与幻觉之间的精确数学关联，作者提出了 Intrinsic Quenching (IQ)——一种从 Boltzmann 分布视角重新加权的采样纠正机制。
---
1. 机制链：从噪声空间到数据流形的几何映射
1.1 生成映射的局部线性化
扩散模型的生成器 $G_\theta$ 将噪声空间 $\mathbb{R}^n$ 映射到数据流形 $M_\theta \subset \mathbb{R}^n$。在点 $x_1$ 处的局部行为由 Jacobian 矩阵 $J = \nabla_{x_1} G_\theta(x_1)$ 刻画：
$$J = U \Sigma V^\top, \quad \Sigma = \text{diag}(\sigma_1, \sigma_2, \ldots, \sigma_n)$$
其中 $\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_n \geq 0$ 为奇异值。
> 奇异值分解 (SVD)：任何实矩阵都可以分解为 $J = U\Sigma V^\top$，其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是对角矩阵，对角线上的非负元素称为奇异值。奇异值描述了线性映射在不同正交方向上的"拉伸倍数"。
在流形假设下，数据分布于一个低维子流形上。因此，对于真实数据点 $x_0 \in M_\theta$，Jacobian 应该呈现谱截断 (spectral truncation) 特征：
$$\sigma_i \approx 0 \quad \text{for} \quad i > d$$
其中 $d \ll n$ 是流形的本征维度。前 $d$ 个奇异值对应流形的切空间方向，剩余的 $n-d$ 个对应法空间方向——理论上应被生成映射压缩至零。
1.2 局部流形不稳定性 (LMI) 的谱表征
Sobieski 等人证明了局部流形不稳定性与 Jacobian 谱之间的定量关系。对于噪声尺度 $\beta$：
$$\text{LMI}(x_1) \approx \beta^2 \|J\|_F^2 = \beta^2 \sum_{i=1}^n \sigma_i^2$$
> Frobenius 范数 $\|J\|_F = \sqrt{\sum_{i,j} J_{ij}^2} = \sqrt{\sum_i \sigma_i^2}$：衡量矩阵整体幅度的标量，等于奇异值平方和的平方根。
这一等式揭示了一个关键机制：不稳定性正比于所有奇异值的平方和。当 Jacobian 的谱能量膨胀时，生成映射对输入噪声的敏感度增加，微小的扰动被放大为输出空间的显著偏离。
1.3 LID 作为谱截断的拓扑不变量
局部内在维度 LID 提供了谱截断的维度标记。作者论证：
$$\sum_{i=1}^n \sigma_i^2 \approx \sum_{i=1}^{\lfloor \text{LID}_\theta(x_0) \rfloor} \sigma_i^2$$
> 局部内在维度 (LID)：流形上某一点附近有效自由度数量的估计。数学上，它反映了数据在该点局部邻域内的本征维度，区别于环境空间的总维度 $n$。
这一近似的合理性基于假设 1：生成映射 $G_\theta$ 高度压缩法空间方向，使得对应奇异值接近数值噪声水平而非结构性自由度。因此，LID 扮演了"有效维度计数器"的角色——它标记了从显著奇异值到噪声奇异值的过渡边界。
---
2. 信息密度层：LID 与训练损失的等价性
2.1 DSM 损失作为 LID 的无偏估计
论文的核心理论发现之一是训练损失与 LID 之间的精确对应：
Proposition 2：在正则性条件下，
$$\mathcal{L}_{\text{DSM}}(x_0, t, \theta) = \text{LID}_\theta(x_0)$$
$$\mathcal{L}_{\text{ISM}}(x_0, t, \theta) = -\frac{1}{2}(n - \text{LID}_\theta(x_0))$$
> DSM (Denoising Score Matching)：扩散模型的标准训练目标，通过最小化去噪网络预测的 score 与真实 score 之间的差异来学习数据分布。这里的关键发现是：DSM 损失在数学上等价于样本的局部内在维度。
> ISM (Implicit Score Matching)：另一种 score 估计方法，通过 Stein 恒等式避免显式计算真实 score。其结果与 DSM 互补，编码了环境维度与 LID 的差值信息。
这一等价性的几何直觉是：DSM 损失测量的是模型将噪声投影回流形的能力，而这恰恰取决于流形在该点的局部复杂度——即 LID。高 LID 区域需要更复杂的投影操作，产生更高的 DSM 损失。
2.2 LMI 的 LID-瓶颈分解
Theorem 1 将 LMI 分解为两个因子的乘积：
$$\text{LMI}(x_1) \lesssim K \beta^2 \sum_{i=1}^{\lfloor \text{LID}_\theta(\hat{x}^\theta_0(x_\tau)) \rfloor} (\sigma_i^{>\tau})^2$$
其中：
- $K = \|J^{\leq \tau}\|_2^2$ 是终端投影的谱范数平方（有界常数）
- $\sigma_i^{>\tau}$ 是早期生成阶段的奇异值
- $\hat{x}^\theta_0(x_\tau)$ 是时间步 $\tau$ 处的后验均值估计
这一分解的结构性含义在于：LMI 的上界被 LID 严格瓶颈化。降低 LID 直接压缩了求和项的项数，从而线性地降低不稳定性上界。这为 IQ 方法提供了理论保证。
---
3. 纠正机制：Boltzmann 重新加权与动态过滤
3.1 修正 Score 的变分推导
Theorem 2 建立了修正 score 与理想分布之间的等价性。定义能量函数：
$$E(x_t) = \text{LID}_\theta(\hat{x}^\theta_0(x_t))$$
修正后的 score 为：
$$\tilde{s}_\theta(x_t) = s_\theta(x_t) - \lambda_t \nabla_{x_t} E(x_t)$$
则修正后的反向过程等价于从以下 Boltzmann 分布采样：
$$p_t^{\theta, \lambda_t}(x_t) \propto p_t^\theta(x_t) \cdot \mathbb{E}_{p_\theta(x_0|x_t)}\left[\exp(-\lambda_t \cdot \text{LID}_\theta(x_0))\right]$$
> Boltzmann 分布：统计力学中的概率分布 $P(x) \propto \exp(-E(x)/k_B T)$，其中 $E(x)$ 是能量，$T$ 是温度。在此框架下，LID 被诠释为能量：高 LID 样本具有高声学能量，其生成概率被指数级抑制。
从变分角度看，IQ 执行的是后验收缩 (posterior contraction)：在保持模型诱导边际分布 $p_t^\theta(x_t)$ 基本结构的同时，将后验质量从 high-LID 区域重新分配到 low-LID 区域。
3.2 动态步长缩放
为确保数值稳定性，$\lambda_t$ 不是固定常数，而是根据当前状态动态计算：
$$\lambda_t = \lambda \frac{\|\hat{x}^\theta_0(x_t) - x_t\|_2}{\|\Sigma_t \nabla_{x_t} E(x_t)\|_2 + \epsilon}$$
> 动态步长缩放：一种自适应梯度下降技术，使修正项的幅度与自然更新（标准 score）保持固定比例 $\lambda$，防止能量梯度在某些区域过度主导或不足。
这一设计的机制意义是：修正强度与当前状态的自然演化幅度成比例。在噪声较大的早期时间步，自然更新幅度大，允许更强的修正；在接近收敛的后期时间步，两者同步衰减，避免对精细细节的过度破坏。
3.3 阈值过滤的统计逻辑
IQ 只在 LID 超过阈值 $q$ 时启用：
$$\lambda_t^{\text{eff}} = \begin{cases} \lambda_t & \text{if } \text{LID}_\theta > q \\ 0 & \text{otherwise} \end{cases}$$
这一二元策略的统计基础是选择性干预 (selective intervention)。对所有样本统一应用 LID 修正会导致"过度挤压"——将有效但罕见的样本也推向低维模式。阈值过滤确保干预仅针对几何不稳定的子集，保留数据分布的尾部多样性。
---
4. 实验验证：六数据集的系统性评估
4.1 人工标注协议
hallucination 评估缺乏统一标准。作者建立了两阶段人工标注协议： 1. 校准阶段：向标注者展示 128 张真实数据集图像，建立对"正常结构变异"的共同认知 2. 标注阶段：标注者独立判断生成样本是否包含结构性幻觉
所有结果报告为跨标注者的平均值，并计算 95% 置信区间。
4.2 主要结果
| 数据集 | 类型 | Baseline HR↓ | IQ HR↓ | 相对降幅 | Baseline UP↑ | IQ UP↑ |
|---|---|---|---|---|---|---|
| 11kHands | 解剖结构 | 29.3% | 9.0% | 69.3% | 39.8% | 68.0% |
| MNIST | 数字结构 | 37.3% | 10.2% | 72.7% | — | — |
| SimpleShapes | 几何合成 | 25.8% | 9.4% | 63.6% | — | — |
| GaussianGrid | 高斯混合 | 20.2% | 8.9% | 55.9% | — | — |
| FFHQ | 自然人脸 | 8.2% | 4.2% | 48.8% | 45.3% | 46.1% |
| AFHQV2 | 自然动物 | 6.9% | 5.9% | 14.5% | 41.8% | 42.6% |
> UP (User Preference)：在成对比较中，用户认为 IQ 生成样本优于基线的比例。
11kHands 作为幻觉最集中的数据集，展示了 IQ 的最大增益：HR 从 29.3% 降至 9.0%，同时 UP 从 39.8% 跃升至 68.0%。这表明 LID 修正不仅消除了异常结构，还改善了整体感知质量——可能因为六指等异常结构本身就显著降低了人类对图像真实性的评价。
合成数据集（MNIST, SimpleShapes, GaussianGrid）上的降幅更为一致（56%-73%），验证了 LID 机制在不同数据类型上的泛化性。
自然图像（FFHQ, AFHQV2）的基线幻觉率已较低，IQ 仍能进一步压低，但边际增益相对较小。
4.3 医学图像：解剖一致性的高 stakes 验证
| 方法 | PSNR↑ | SSIM↑ | LPIPS↓ | mAP↑ | mROC↑ |
|---|---|---|---|---|---|
| Baseline | 33.54 | 0.898 | 0.0387 | 0.27 | 0.85 |
| IQ | 33.54 | 0.901 | 0.0388 | 0.31 | 0.86 |
> mAP / mROC：ResNet50 观察者对重建图像的诊断性能指标。mAP 衡量检测精度，mROC 衡量区分能力。
在 RSNA 骨骼数据集的 Sparse-View CT 重建任务中，IQ 在保持重建质量指标基本不变的前提下，将诊断观察者的 mAP 从 0.27 提升至 0.31（相对 +14.8%）。这一增益的临床意义在于：LID 修正减少了可能误导诊断的解剖学伪影。
---
5. 基线对比与机制差异
| 方法 | 干预层级 | 机制 | 主要局限 |
|---|---|---|---|
| DG | 概率/分布 | 判别器引导避开低概率区 | 判别器有偏导致采样不均匀 |
| AAM | 注意力/实现 | 调节注意力热图 | 需训练异常检测器，泛化受限 |
| RODSCAS | 优化/采样 | 鲁棒扩散采样 | 部分数据集上 HR 反增 |
| RODSSAS | 优化/单步 | 单步自适应采样 | 与 RODSCAS 类似的不稳定性 |
| IQ | 几何/流形 | LID 驱动的 Boltzmann 重新加权 | 计算成本（SVD） |
1. 概念清晰性：概率低的样本不一定是幻觉（可能是罕见但真实的样本），但几何结构不稳定的样本几乎一定是幻觉 2. 理论可证明性：Theorem 1 和 Theorem 2 提供了 IQ 效果的数学保证，而非仅依赖经验观察
---
6. 局限与开放问题
| 维度 | 当前状态 | 开放方向 |
|---|---|---|
| 计算效率 | 每步需 SVD 计算 Jacobian | 开发近似 LID 估计器（如随机 SVD 或谱方法） |
| 阈值调优 | 数据集特定的 $q$ | 建立 $q$ 与数据本征维度之间的理论映射 |
| 幻觉类型 | 结构性（解剖/物理规则） | 扩展至语义级幻觉（概念组合错误） |
| 模型类别 | 主要针对扩散模型 | 验证是否适用于 GAN、Flow、自回归模型 |
| 时间步范围 | 小 $t$ 假设下的近似 | 推导大 $t$ 区域的精确 LID 估计 |
7. 结构性结论
Sobieski 等人的研究将扩散模型幻觉分析从统计描述推进到几何诊断。其核心贡献在于揭示了一个被忽视的等价性：标准训练损失（DSM）本身就是局部内在维度的无偏估计。这意味着扩散模型在训练过程中已经在隐式编码流形的几何复杂度——我们只是需要学会"读取"它。
IQ 方法的价值不仅在于其经验性能（HR 降低 50-70%），更在于它提供了一个可干预的理论框架：
- 诊断：通过 LID 谱监测生成样本的几何健康度
- 归因：定位流形上不稳定性的空间分布
- 纠正：通过 Boltzmann 重新加权将概率质量从 high-LID 区域转移到 low-LID 区域
最终，这项工作提醒我们：生成模型的可靠性不仅取决于"看起来像什么"，更取决于"流形几何上是什么"。
---
附录：论文元数据（已核实 ✅）
| 字段 | 内容 |
|---|---|
| 标题 | Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models |
| 作者 | Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li |
| 机构 | Centre for Credible AI, Warsaw University of Technology; University of Warsaw; Massachusetts General Hospital; Harvard Medical School |
| arXiv ID | 2605.05026 |
| 发表日期 | 2026-05-06 |
| 核心命题 | Proposition 1: LMI ≈ β²∥J∥²_F; Proposition 2: DSM = LID; Theorem 1: LMI 的 LID-瓶颈分解; Theorem 2: 修正 score 等价于 Boltzmann 重新加权 |
| 方法 | Intrinsic Quenching (IQ)：动态 LID 修正 + 阈值过滤 |
| 实验规模 | 6 个图像数据集 + RSNA 医学 CT 数据集；大规模人工标注；与 4 种基线方法对比 |
| 主要结果 | 11kHands HR 29.3%→9.0%，UP 39.8%→68.0%；MNIST/SimpleShapes HR 降低 60%+；RSNA mAP 0.27→0.31 |