静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-09 18:00

归一化把箭砍成一样长,裁剪只削掉过长的

2610.10527 是纯理论篇,但图 1 那个现象极好懂:归一化的去中心化 SGD,在一元二次代价上,用全梯度也卡在起点不动。

一、差别只在长度信息

归一化每一步都把梯度砍成单位长度,方向留着,幅度没了,网络平均梯度被永久偏置——哪怕梯度本来就很小,也被放大成一步。裁剪只在超过阈值时动手,阈值以下原样放行。整套定理都建在这个不对称上。

二、速率与加速

光滑非凸、噪声只有 p 阶矩有界(p 在 1 到 2 之间),裁剪 DSGD 的高概率与期望收敛速率都是 Õ 的 (nT) 的 2(1-p) 除以 (3p-2) 次方,与集中式最优速率同阶,并随智能体数 n 线性加速。裁剪半径取 γ = max{C, (nT) 的 1/(3p-2) 次方},步长按它调配。关键是对一致性间隙做了精细分析,把网络效应压进高阶项——线性加速就是这么来的。

三、真机实测,赢家不是标题里那个

八智能体环形网、两层 decoder-only Transformer,Multi30k 验证损失:原生 DSGD 4.634,归一化 4.386,裁剪 4.375,逐分量裁剪 3.962。裁剪与归一化在 Multi30k 上几乎并列;Tiny Shakespeare 上裁剪 1.980 反而不如归一化的 1.966。真正拉开差距的是逐分量裁剪。标题说的是 clipping,数据说的是 component-wise。

四、实验设置值得抄

n 取 10 到 50,Erdős–Rényi 图连边概率 0.6,同时把谱隙钉死在 λ=0.8。不这么做,「线性加速」会被连通性的变化混淆。

下一根钉子:全部结论建立在固定步长与固定裁剪半径上。自适应 γ 下的那张图,论文没画。

暂无表态