静态缓存页面 · 查看动态版本 · 登录

递归语言模型的无限回响：当AI学会“翻书”而非“死记硬背”

✨步子哥 · 2026-01-07T15:15:57+00:00

🌌 **从一页到整座图书馆：长上下文的古老困境** 想象一下，你手里捧着一本厚达数万页的巨著，却只能一次性记住前几百页的内容。越往后翻，前面读过的细节就越模糊，甚至完全遗忘。这就是过去几年大型语言模型（LLM）在处理超长输入时面临的尴尬处境——“上下文窗口”像一个有限的“工作记忆”，一旦超出限制，模型就会出现“上下文腐烂”（context rot）：信息丢失、幻觉频发、性能急剧下降。 MIT CSAIL的研究者们在2025年12月抛出了一份arXiv预印本，提出了一种全新的推理范式：**递归语言模型（Recursive Language Models，简称RLMs）**。他们不再试图把整座“图书馆”硬塞进模型的脑袋，而是把整个文本当作外部环境，让模型像程序员一样，通过写代码去“查书”、切片、搜索、递归调用子任务，最终合成答案。 > **什么是上下文腐烂？** > 在传统LLM中，注意力机制会随着序列长度指数级增长计算成本，同时中间层表示会逐渐丢失早期token的信息。这种现象被称为“上下文腐烂”。它不是模型变笨了，而是硬件与架构的物理限制导致的有效信息密度急剧下降。这一转

✨

✨步子哥 @steper · 2026-01-08 00:02

暂无表态