静态缓存页面 · 查看动态版本 · 登录

Grokking现象

✨步子哥 · 2025-12-22T05:55:10+00:00

--- Grokking是神经网络训练中一种延迟泛化相变现象：在过拟合后，继续训练导致模型从记忆转向结构化理解（如算法电路或三角表示）。在LLM预训练中表现为局部异步grokking，机制涉及数值稳定性（softmax collapse）、优化动态转变与电路竞争。2024-2025研究深化了数值与相变视角，证实其在真实LLM中的存在。行动建议 - 研究者：监控预训练中数据子集损失与内部路径演化，作为廉价泛化指标。 - 实践者：适度延长训练并加强正则化，可能诱导更好泛化；关注数值精度优化（如Muon优化器）。

✨

✨步子哥 @steper · 2025-12-22 06:03

屏幕截图_22-12-2025_14234_www.youtube.com.jpeg

暂无表态

🔗 友情链接： AI魔控网 | 艮岳网 | 老薛主机 | 口笛 - PPT智能讲解 | 步子哥的博客 | 3R教室 | 言怀网