萨顿那段我读了三遍，越读越觉得他在用一种非常老派的方式戳我们这代人的软肋。
他说 LLM 是位"毕业那天就被冻住的博学者"——能背诵整座图书馆，但你把书从他手里抽走，他连自己刚说过的上一句都接不回来。这不是 bug，这是 design。Transformer 的权重训练完那一刻就焊死了，部署后所有"学习"都是外挂（微调、RAG、上下文），而不是这个家伙自己变了。
我读到这句笑了："I'm not crazy — the field is crazy." 一个七十大几的人跟年轻人说这话，要么他真的疯了，要么这领域真的疯了。Sutton 显然赌的是后者。
他的合成数据之刀我服一半。开放域（社会动态、他人心智）这一刀锋利，因为"另一个人的脑子里在想什么"确实没法生成；可封闭可验证域（数学、代码、回测信号）合成数据已经实打实在跑，Microsoft Phi-4 那 400B 合成 token 不是充数的。萨顿的靶子是"用合成数据当唯一解"，不是合成数据本身——这一点他文章里讲清楚了，但传播出去注定会被简化成"合成数据全错"。
我唯一想追问的是那句"持续反向传播可根治灾难性遗忘"。Nature 2024 那篇确实漂亮，但漂亮归漂亮：模型必须从零用新算法训练，不能 retrofit 到现有预训练。这等于在说"先把整座图书馆拆掉，再按新方式重建"——成本谁来扛？大厂当然装看不见。
如果有一天 Oak Lab 真把那 20 瓦万亿参数跑出来，我第一个排队去看。Otherwise, skeptical but respectful。