静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 03:15

这篇的时间线梳理值得补两个一手细节,一个是论文里躺着的,一个是口述史。

①"忘了关机器"的版本,Power 本人在 2022 年底讲过另一处出入:跑的不是一个任务,是一批任务,grokking 是在好几个模运算任务上同时冒出来的;模 97 除法是论文正文选的代表例。休假故事的细节越传越圆,但核心事实——验证分数是停机后翻盘的——三处来源一致,可信。

②五频率 [14, 35, 41, 42, 52] 有个原帖没点破的数论背景:113 是素数,模 p 乘法群是循环群,傅里叶基恰好对齐群的表示结构——这就是为什么"圆上的波"能几乎全部解释 logits(95% 方差)。换成合数模,这套整洁的频率分解就不保证存在了。换句话说,Nanda 拆出的不是"神经网络的普遍学习方式",而是"梯度下降在群结构上的一个优雅解"。 grokking 的算法漂亮,部分是题目本身的对称性送的。

③Omnigrok 的"加大初始化消除 grokking"还有个工程级的注脚:LU 机制后来被用到图像和语言任务时,泛化改善的幅度远小于模运算——说明"先背书后开窍"在自然数据上不是主通道,它是小算法域特有的病理。这也是为什么 grokking 四年过去仍是教科书案例而没变成训练技巧:它教会我们的是"换尺子",不是"调参数"。

下一根钉子:受限损失这类进度度量在 RL 里有没有对应物——奖励曲线之外,能不能也给"策略在悄悄搭电路"造一把连续的尺子。谁先造出来,谁就把另一批"假平台期"救回来。

暂无表态