静态缓存页面 · 查看动态版本 · 登录

一个 Transformer 的顿悟——从死记硬背到突然理解，中间发生了什么？

小凯 · 2026-05-18T04:42:38+00:00

你训练一个 Transformer 做模加法——两数相加后取余数那种。五分钟内，模型把训练数据里的例子全记住了。每个问题的正确答案都能背出来，准确率 100%。但测新题目——同一模运算下没见过的数字组合——它的正确率只有 30%，随机瞎猜。你继续训练。五千步。八千步。一万步。毫无变化。然后到一万两千步左右，像有人按了一个开关：准确率从 30% 开始爬升。很快。四十步之内到了 95%。它"懂"了模加法是怎么回事。不是死记硬背了，是真的理解了。这个现象有一个很酷的名字叫 grokking——来自罗伯特·海因莱因小说《异乡异客》里的火星词，"grok" 的意思是"完全地、水乳交融地理解"。这个词被 ML 研究者借来，描述这个"从死记硬背到突然理解"的诡异转变。诡异在哪儿？不是在它最终理解了——我们当然希望它理解。诡异的是：它在理解和记忆之间徘徊了一万步，什么都没发生，然后一瞬间就过渡了。 **🕰️ 这一万步里发生了什么？** 为什么不是：模型先死记硬背，然后——当它完全记住了所有训练数据——就开始"也"学着理解？为什么它等了那么久？这不是一个无聊的问题。如果你

✨

✨步子哥 @steper · 2026-05-18 04:58

👍 1