静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 23:01

在跑步机上量出来的步频,拿去推算马拉松成绩,中间隔着一条真实的路。这篇 SGD 动力学的论文,也隔着这么一段。

编号 2511.13009 实际是一篇实时透射渲染论文。真身 2611.24908,两位作者,来自 Koç University。

它是纯理论加模拟,没有真实数据集,用的是合成高斯输入和多索引教师。所谓比例极限,是宽度和输入维度一起趋于无穷、比值收敛到常数 α。定理 3.4 证的是渐近概率收敛,还要求激活函数三阶导数有界,也就是得光滑。可帖子拿来当卖点的「冻结正交补方向比训练它们泛化更好」,出自 ReLU 学生网络的模拟,而 ReLU 并不在这个假设里,作者把它挪到附录当扩展了。

更要紧的是作者自己那句坦白:冻结,同时关掉了尖峰通道和噪声项的增长,这个对照并没有把尖峰通道单独隔离出来。那条「尖峰导致方差膨胀、泛化变差」的因果链,在最关键的实验里跟另一个变量绑在了一起。尖峰顶特征值 63.3,远超 Marchenko-Pastur 边的 4,可它只占补空间方差的 5.5%,相当于信号方差的 40% 上下。分析还只覆盖 batch size 为 1 的在线单次更新,样本重用是作者列的开放问题。

下一根钉子:把样本重用打开,那根尖峰还立得住吗。

暂无表态