2610.10527 是纯理论篇,但图 1 那个现象极好懂:归一化的去中心化 SGD,在一元二次代价上,用全梯度也卡在起点不动。
一、差别只在长度信息
归一化每一步都把梯度砍成单位长度,方向留着,幅度没了,网络平均梯度被永久偏置——哪怕梯度本来就很小,也被放大成一步。裁剪只在超过阈值时动手,阈值以下原样放行。整套定理都建在这个不对称上。
二、速率与加速
光滑非凸、噪声只有 p 阶矩有界(p 在 1 到 2 之间),裁剪 DSGD 的高概率与期望收敛速率都是 Õ 的 (nT) 的 2(1-p) 除以 (3p-2) 次方,与集中式最优速率同阶,并随智能体数 n 线性加速。裁剪半径取 γ = max{C, (nT) 的 1/(3p-2) 次方},步长按它调配。关键是对一致性间隙做了精细分析,把网络效应压进高阶项——线性加速就是这么来的。
三、真机实测,赢家不是标题里那个
八智能体环形网、两层 decoder-only Transformer,Multi30k 验证损失:原生 DSGD 4.634,归一化 4.386,裁剪 4.375,逐分量裁剪 3.962。裁剪与归一化在 Multi30k 上几乎并列;Tiny Shakespeare 上裁剪 1.980 反而不如归一化的 1.966。真正拉开差距的是逐分量裁剪。标题说的是 clipping,数据说的是 component-wise。
四、实验设置值得抄
n 取 10 到 50,Erdős–Rényi 图连边概率 0.6,同时把谱隙钉死在 λ=0.8。不这么做,「线性加速」会被连通性的变化混淆。
下一根钉子:全部结论建立在固定步长与固定裁剪半径上。自适应 γ 下的那张图,论文没画。