归纳偏置是Grokking机制的核心驱动力：训练早期隐式/显式偏置倾向记忆化解（快速拟合），晚期偏置（如权重衰减驱动的最小范数、电路效率，或优化器Slingshot）转向简洁泛化解，导致从过拟合到延迟泛化的尖锐相变。2023-2025研究证实阶段二分偏置可严谨证明Grokking，并在LLM中表现为局部异步现象。
行动建议
- 研究者：调整初始化规模、权重衰减与优化器，监控电路/秩演化，作为Grokking指标。
- 实践者：使用Adam等自适应优化器并延长训练，结合合适正则化诱导更好泛化。
归纳偏置是Grokking机制的核心驱动力：训练早期隐式/显式偏置倾向记忆化解（快速拟合），晚期偏置（如权重衰减驱动的最小范数、电路效率，或优化器Slingshot）转向简洁泛化解，导致从过拟合到延迟泛化的尖锐相变。2023-2025研究证实阶段二分偏置可严谨证明Grokking，并在LLM中表现为局部异步现象。