当梯度稀疏到达时：为什么无偏信用分配不足以保证学习稳定

一个反直觉的发现

你设计了一个完美的学习规则。它的期望更新方向完全正确——梯度无偏，收敛到最优解。按经典 SGD 理论，它应该稳定收敛。

但 John Vastola 在哈佛的这篇论文告诉你：它可能不稳定。不是发散，不是震荡——而是学习方差渐近趋于无穷。权重在正确值附近抖动，但抖动幅度越来越大，最终完全不可用。

原因不是梯度有偏，而是梯度到达太稀疏。

生物启发的提问

这篇论文的出发点是生物神经网络的现实：大脑里的梯度信息不是连续可得的。一个突触可能只在偶尔的时刻收到有用的学习信号，大部分时间它收到的只是噪声。这和标准 SGD 分析的假设完全不同——标准分析假设每一步都有（有噪声的）梯度可用。

Vastola 问了一个看似简单的问题：如果梯度信息是无偏的但间歇性到达，学习还能稳定吗？

答案出乎意料地是否定的。

玩具模型：s/ρ 比值决定一切

考虑最简单的场景：一个权重 \(w\)，目标是最小化 \(J = \frac{s}{2}(w - w^*)^2\)。梯度以泊松过程到达，平均到达率为 \(\rho\)。

每次梯度到达时，权重更新 \(w_{n+1} = (1 - s/\rho) w_n\)。这是一个几何级数，有三个区间：

• \(s/\rho < 1\)：误差单调递减，稳定收敛
• \(1 < s/\rho < 2\)：误差交替变号但幅度递减，仍然收敛
• \(s/\rho > 2\)：误差交替变号且幅度递增，学习不稳定

关键洞察是：临界到达率 \(\rho_c = s/2\)。如果梯度到达频率低于这个阈值，即使每次到达的梯度方向完全正确，学习也会发散。

这不是 SGD 的不稳定性——SGD 的不稳定性来自学习率太大。这里的不稳定性来自梯度的稀疏性本身，和 SGD 稳定性条件"互补但概念上不同"。

为什么稀疏性会致命

直觉是这样的：在两次梯度到达之间，权重会被正则化项拉向零（这是生物突触的现实——没有信号就会衰减）。如果到达间隔太长，权重衰减太多，下一次梯度到达时，更新幅度太大，导致过冲甚至发散。

数学上，这表现为乘性噪声。泊松到达引入的噪声不是加性的（像 SGD 的观测噪声那样），而是乘性的——它乘以当前权重值。乘性噪声的方差和均值不同步：均值可以收敛，方差可以发散。

这是论文最精妙的数学洞察：稀疏梯度到达等价于乘性噪声，乘性噪声的方差动力学和均值动力学解耦。均值动力学只关心"平均更新方向"，方差动力学关心"更新幅度有多大波动"。两者可以独立地稳定或不稳定。

线性网络：条件更严格但结构相似

单权重玩具模型之后，Vastola 分析了线性网络。设定是 \(y = w^\top x\)，输入协方差为 \(\Sigma\)，目标权重为 \(w^*\)。

对角 \(\Sigma\) 的情况：每个权重 \(w_i\) 独立演化，临界条件变成 \(\rho > \frac{s_i}{2}\)，其中 \(s_i = \Sigma_{ii}\)。输入方差越大的维度，需要的梯度到达频率越高。

循环 \(\Sigma\)（circulant）的情况：权重之间耦合，但通过傅里叶变换可以解耦。临界条件类似，但依赖于 \(\Sigma\) 的特征值。

关键结论：无论输入结构如何，都存在一个临界到达率 \(\rho_c\)，低于它学习就不稳定。\(\rho_c\) 的具体值取决于网络结构和输入统计，但它的存在是普遍的。

深度网络：问题不消失，只变形

两层非线性网络和深度线性网络的分析表明，稀疏梯度到达的不稳定性不是浅层网络的特殊问题：

• 非线性网络：在不动点附近线性化，得到和线性网络类似的稳定性条件
• 深度线性网络：对称不动点附近的 Hessian 分析给出类似的临界条件

论文甚至分析了池化参数（把多个权重平均）和梯度到达平均（在时间窗口内累积梯度）两种缓解策略。两者都能提高临界到达率（即允许更稀疏的梯度），但都无法消除不稳定性——只是把 \(\rho_c\) 降低，不会让它消失。

和 SGD 稳定性的区别

这是论文最需要澄清的点。SGD 的稳定性条件（如学习率小于 Hessian 最大特征值的倒数）保证的是：每一步都有（有噪声的）梯度时，学习稳定。

Vastola 的稳定性条件保证的是：梯度间歇性到达时，学习稳定。这是两个不同的维度：

• SGD 条件关心的是"每步更新幅度不能太大"
• Vastola 条件关心的是"更新频率不能太低"

两者可以独立满足或违反。你可以满足 SGD 条件（学习率足够小）但违反 Vastola 条件（梯度到达太稀疏），此时学习仍然不稳定。反过来也一样。

对生物学习的约束

论文的结论给生物可行学习模型增加了一个新约束：

1. 信用分配必须无偏（已有约束） 2. 信用分配必须足够频繁（新约束） 3. 信用分配必须足够信息丰富（新约束的推论）

这意味着任何声称解释大脑学习的模型，不仅要回答"梯度信号如何传播"（无偏性），还要回答"梯度信号多久传播一次"（频率）。一个平均正确但到达太稀疏的信号，不足以支撑稳定学习。

Vastola 还推测了生物系统可能用来降低方差的机制：突触权重的池化（多个突触共享一个更新）、梯度到达的时间平均（在窗口内累积）、以及可能存在的其他方差抑制回路。但这些都是推测，论文没有提供实验验证。

局限与诚实

论文诚实地承认了局限：

• 模型假设泊松到达，忽略了梯度到达的时间结构和突触间相关性
• 忽略了这些因素"很可能让问题更严重而不是更轻"
• 分析主要在线性或线性化场景，非线性网络的分析只在不动点附近
• 没有提供生物实验验证

这种诚实很重要——论文没有声称"证明了大脑学习不稳定"，而是说"在合理的简化模型下，稀疏梯度到达可以导致不稳定，这是一个被忽视的约束"。

这意味着什么

这篇论文的核心贡献不是某个具体公式，而是一个视角的转变：

传统分析把"梯度可得"当作默认，把"梯度有噪声"当作需要处理的扰动。Vastola 把"梯度间歇性可得"当作默认，问"什么时候这会出问题"。

答案出乎意料地干净：当到达频率低于输入方差的一半时，学习就不稳定。这个条件简单到可以用来检查任何生物学习模型——如果你的模型声称解释了大脑学习，先检查它的梯度到达频率是否高于临界值。

更深层的启示是：无偏性不是可靠性的充分条件。一个信号可以无偏（期望正确）但不可靠（方差发散）。这在统计学里是常识（无偏估计可以有无穷大方差），但在学习理论里被长期忽视——因为标准分析假设梯度连续可得，方差问题被自然抑制了。

当梯度变成稀疏事件，方差问题就浮出水面。无偏的信用分配是必要的，但不充分。频率，不是方向，才是稳定性的最终裁判。

---

*论文：arXiv:2610.35856 · 作者：John J. Vastola (Harvard Medical School / Kempner Institute)*