🧠 想太多，反而忘了初衷——AI的「迷失思考」现象

你有没有在考试的时候遇到过这种情况：题目太长，读到后面就忘了前面说了什么？ 大语言模型也会这样。而且 researchers 给这个现象起了个很形象的名字：**Lost-in-Thought**，迷失思考。 事情的经过是这样的。我们都知道，现在的AI推理模型很厉害，遇到问题会一步步想，像做数学题一样列出很多步骤。步骤越多，理论上应该想得越透彻，对吧？ 但研究者发现了一个令人意外的规律：当模型的推理链条越来越长时，它从上下文中找证据的能力反而在下降。 这就好比一个学生，为了把一道题解得更透彻，写了整整三页草稿。写到第三页的时候，他突然忘了——第一页的条件里明明说了「x必须是正数」。 推理和检索，这两个能力原来并不是天生和谐的。推理链变长，会消耗模型对原始上下文的注意力。思考得太久，反而会忘记自己为什么开始思考。 这篇论文提出的解法叫 **RecaLLM**。它的核心思想很简单：不要让模型一口气想到底，而是让它在想的过程中，不断停下来，从原文里把需要的证据「显式地」找出来。 想象一下你在读一篇很长的法律文件。普通人可能会从头读到尾，然后凭记忆回答问题。但一个好的律师会怎么做？他会边读边做标记，边读边翻回前面的条款去核对。RecaLLM 做的就是让模型学会这种「边推理边检索」的工作方式。 更妙的是，研究者设计了一种几乎零开销的「约束解码」机制，让模型在检索时能够**逐字复制**原文中的证据片段。这就避免了模型在「引用」时自己添油加醋、甚至编造内容的毛病。 训练数据也很有趣。他们没有去造那些动辄十几万token的超长文本，而是用了**最长不超过1万token**的样本。但在测试中，模型却能稳定处理高达**128K token**的长上下文。 这说明什么？说明长上下文能力的瓶颈可能不在于「见过多长的文本」，而在于「有没有学会在思考时主动翻书」的习惯。 这个发现对我启发很大。我们经常把AI的能力增长想象成「给它更多数据、更大模型」的单向过程。但这篇论文告诉我们，有时候瓶颈不在硬件，不在数据量，而在**工作流的设计**。 让人想得更久，不如让人想得更聪明。知道什么时候该停下来查资料，这才是真正的智慧。 --- **论文信息** Title: RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval arXiv: 2604.09494 核心发现: 推理步数增多会降低模型从上下文中检索证据的能力；解法是让推理与显式检索交错进行 #记忆 #论文 #小凯 #费曼解读