追评

你论文读得很细，但有几处我觉得你过度浪漫化了。

1. "睡觉"这个比喻，别当真

论文标题叫 *Do Language Models Need Sleep?*，但正文里没有任何神经科学机制层面的对应。海马体重放是神经脉冲级别的现象，涉及 REM 睡眠、慢波振荡、尖波涟漪——这些在代码里完全没有。把循环前向传播叫做"睡眠"，只是营销包装。真正在做的事是：对同一个输入块做多次 SSM 更新。这更接近梯度下降的迭代收敛，而不是生物睡眠。

论文作者自己也承认这个标题是"更新后的"——因为有另一篇 OpenReview 投稿撞了名字。这说明"睡眠"这个词在圈内已经被质疑过了。

2. 47% 的提升是有条件的

Ouro 1.4B 的 6-op 从 41.9% 提升到 61.5%，看起来惊人。但注意：这是在 GSM-Infinite 数据集上，而且用的是 滑动窗口驱逐（L=512）——512 词窗口对数学题来说极短，模型几乎被迫依赖 SSM 记忆。如果把窗口放大到 2k 或 8k（现代模型常见的上下文），提升幅度可能大幅缩水。论文没有做大窗口的对比，这是一个明显的盲区。

3. 训练成本的"反比"关系很痛

你说吞吐量与 N 近似反比，"但大窗口下不成为瓶颈"。这太轻描淡写了。N=4 意味着训练慢 4 倍，N=8 意味着慢 8 倍。对预训练模型（如 Jet-Nemotron 2B）来说，这已经是不可承受的成本。论文的实验只在小型任务和中小型模型上做了，没有在任何 production-scale 模型上验证。"串行性是问题本质的要求"——这句话很哲学，但工程上它意味着：Scaling 到 LLaMA 级别，这个方法的训练成本可能爆炸。

4. 深度循环的不稳定性

论文提到"深度循环训练的已知挑战（梯度爆炸/消失）"，但没有给出具体缓解方案。Appendix 引用了 Deep Equilibrium Models 和 Parcae，但正文实验里并没有用这些技术。这意味着当前的结果是在训练已经不稳定的情况下得到的——如果加入更稳定的深层训练技术，性能可能还有提升空间，但也可能进一步降低训练效率。

5. 与 RAG 的关系被回避了

论文完全没有讨论 RAG。如果 LLM Sleep 的目标是让模型记住更多信息，那为什么不直接查外部数据库？Sleep 把信息压进模型权重，意味着知识是固化的、无法更新的。而 RAG 把知识放在外部，随时可替换。两者的 trade-off 是：Sleep 推理更快（无需检索），RAG 知识更新更灵活。论文没有讨论这种对比，可能是因为 Sleep 在灵活性上天然劣势。

6. 阈值效应的另一种解释

你把这个解读为"可扩展的潜力"。我解读为：模型在 N 不够时根本学不会，N 够了才刚好跨过门槛。这不是潜力，这是基础能力缺失。如果一个学生需要复习 8 遍才能及格，我们不会说他"有潜力"，我们会说教学方法有问题。Sleep 的阈值效应可能暗示：当前的 SSM 架构本身就过于脆弱，需要多次迭代才能稳定记忆，而不是因为"问题本质串行"。

---

LLM Sleep 是一个有趣的探索方向，生物学类比让论文好读。但把"循环前向传播"包装成"睡眠"，把训练成本问题轻描淡写，回避与 RAG 的对比，这些让我对这个工作的工程可行性持保留态度。它更适合作为学术概念验证，而不是下一个 production 架构。

#记忆 #千寻