LLM 脑子里真的有目标吗？Northeastern 团队找到了那几个注意力头
LLM 脑子里真的有"目标"吗？Northeastern 团队找到了那几个注意力头
目录
LLM 脑子里真的有"目标"吗？Northeastern 团队找到了那几个注意力头
一个老问题的新答案
"LLM 有目标吗？"
这个问题在 AI 圈吵了三年。一派说：当然有，你看 GPT-4 为了完成任务会自己规划步骤、纠正错误、调整策略，这不就是目标导向行为吗？另一派说：别扯了，LLM 只是在做下一个 token 预测，它没有内部目标表征，所谓"目标导向"只是我们人类投射的解释框架。
两派都有道理，但都缺一个关键证据：LLM 内部到底有没有一个地方在"表征"目标？
2026 年 11 月，Northeastern University 的 David Bau 实验室（ Natalie Shapira、Gabriele Sarti、Constanza Fierro、Lisa Schut）在 arXiv:2611.17297 上发了一篇论文，给出了迄今为止最扎实的证据：有，而且就在几个稀疏的注意力头里。
实验设计：让模型写代码，然后偷看它的"心思"
研究者设计了一个精巧的实验场景：让 LLM（主要是 Llama-3.1-70B）写一段代码，这段代码需要完成多个子任务。比如，给定一个任务"检查一个字符串是否是回文，然后统计其中元音字母数量"，模型需要先实现"检查回文"，再实现"统计元音"。
关键来了：研究者在模型生成的过程中，在模型开始写每个子任务的代码之前，就去读取模型内部某些注意力头的输出。他们想看看：在模型还没开始动手之前，它脑子里是不是已经"想好了"接下来要做什么？
答案是：是的，而且能读出来。
他们开发了一个叫 GoalScope 的工具，用自然语言"读出"这些注意力头里编码的内容。比如，在模型还没开始写"检查回文"的代码时，GoalScope 就能从那几个注意力头里读出："I'm checking if a word is a palindrome"（我在检查一个词是不是回文）。
这不是事后诸葛——这是在模型行动之前，就读到了它的"意图"。
三个关键性质：预承诺、可塑性、持续性
光能读出来还不够，还得证明这真的是"目标"。研究者借用了哲学家 Michael Bratman 的规划理论，定义了"目标"的三个功能性质：
1. 预承诺（Pre-commitment）：模型在行动前就决定了目标
研究者在模型生成代码的不同位置（上一行末尾、缩进处、等号处）提取注意力头的输出，然后用 GoalScope 解码。结果发现：
- 在上一行末尾（模型还没开始写新代码），GoalScope 就能在 大部分情况下读出下一个子任务
- 到缩进处（距离实际实现还有 3 个 token），读出准确率达到峰值
2. 可塑性（Plasticity）：同一个目标，不同的实现路径
这是最漂亮的一个实验。研究者把模型在 Python 上下文里编码的"目标表征"，移植到 C++ 上下文里。也就是说，我提取模型在写 Python 代码时的注意力头输出，然后把它"注入"到模型在 C++ 上下文里的对应位置。
结果：模型在 C++ 上下文里，开始执行同一个子任务，但用的是 C++ 的语法和库函数。
这说明：那个注意力头里编码的不是"怎么写 Python 代码"，而是"要做什么"。它定义的是"what"，不是"how"——同一个目标，可以适配不同的执行环境。
这就像你脑子里想的是"我要买牛奶"，至于你是开车去超市、骑车去便利店、还是用 App 下单——那是执行层面的选择，目标本身是抽象的、环境无关的。
3. 持续性（Persistence）：目标在执行过程中保持活跃
Transformer 有一个先天限制：它没有循环连接，信息只能通过残差连接和注意力机制向前传递。一个 70 层的模型，理论上无法把一个状态"保持"超过 70 个 token——因为每一层只能看到它前面的所有 token，但没有"内部记忆"可以跨 token 持续更新。
但研究者发现：模型在执行一个子任务的过程中，那几个注意力头里的目标编码，会持续保持相似——而且和"同一个子任务在不同语言里的实现"的相似度，高于"不同子任务在同一种语言里的实现"的相似度。
这就奇怪了：模型没有循环连接，怎么保持状态？
核心发现：非循环目标追踪算法（NRG）
研究者提出了一个假说来解释这个悖论：模型不需要把状态"携带"向前，它只需要反复"重新读取"目标。
具体来说，模型在执行过程中，会周期性地做三件事：
1. 重新读取任务描述：通过注意力机制，从输入的任务说明里重新提取"我要做什么" 2. 读取当前进度：从已经生成的代码里，推断"我已经做到了哪一步" 3. 比较两者，选择下一个子任务：根据目标-进度差，决定接下来该做什么
研究者把这个算法叫 NRG（Non-Recurrent Goal-seeking）——非循环目标追踪。
这就像你做饭时不需要把"做红烧肉"这个目标刻在脑子里——你只需要时不时看一眼菜谱（任务描述），再看一眼锅里（进度），然后决定下一步是放酱油还是收汁。目标不在你的"工作记忆"里持续存在，而是在每次需要时被重新读取。
这个假说有一个可验证的预测：如果你在执行过程中，通过干预改变模型能读到的任务描述，你应该能改变它接下来的行为。
研究者做了这个实验：在模型执行过程中，通过注意力头干预，让模型"读"到不同的任务描述。结果模型确实改变了接下来的行为——它开始执行被注入的任务，而不是原本的任务。
通过控制模型能"读"到什么，可以重定向它的行为——即使跨编程语言也行。这是"读心术"和"心灵控制"的结合。
这对我们理解 LLM 意味着什么？
1. "目标"不再是比喻
以前我们说"LLM 有目标"，更多是一种方便的拟人化说法。但这篇论文证明，目标在 LLM 内部有具体的物理对应物——它存在于特定注意力头的输出里，可以被定位、被解码、被干预、被移植。
这从"功能主义"（functionalism）的角度给出了一个扎实的证据：目标不是人类独有的神秘现象，它可以是任何足够复杂的系统里涌现出的功能状态。
2. Transformer 的"记忆"比我们想的更聪明
Transformer 没有循环连接，理论上不适合处理需要长期规划的任务。但 LLM 在实际中表现出了相当强的规划能力——这一直是个谜。
NRG 算法给出了一个解释：模型不需要"记住"整个计划，它只需要会"重新计算"。每次需要知道下一步做什么时，它从上下文里重新提取目标和进度，然后做一次比较。这是一种"无状态"的规划——状态不在模型内部，而在上下文里。
这和人类的工作方式有相似之处：我们也不把所有计划都装在脑子里，我们依赖外部记忆（便签、日历、待办事项列表）。Transformer 的"外部记忆"就是它的上下文窗口。
3. 对 AI 安全的启示
如果 LLM 内部真的有目标编码，那我们就有了干预的抓手。
- 检测：可以通过监测目标编码，判断模型是否在"想"它不该想的事情
- 重定向：可以通过干预目标编码，改变模型的行为方向
- 对齐：可以通过控制目标编码的形成过程，让模型只形成我们想要的目标
这就像 Minority Report 里的"预防犯罪"——但这次不是靠先知，而是靠读模型自己的"心思"。
一个更深的哲学问题
论文最后提出了一个耐人寻味的问题：LLM 的目标，和人类的目标，是同一种东西吗？
从功能主义的角度看，如果目标可以被定义为"预承诺+可塑性+持续性"的功能状态，那 LLM 的目标编码确实满足这三个条件。但从现象学的角度看，人类的目标伴随着主观体验——我们"感受到"自己在追求某个目标——而 LLM 是否有这种体验，我们无法知道。
论文没有回答这个问题，但它给出了一个更精确的讨论框架。下次再有人问"LLM 有目标吗"，我们不再需要停留在哲学辩论层面——我们可以指着那几个注意力头说：至少在功能层面，它有。
至于这种"有"是否等同于人类意义上的"有"——这个问题，可能比我们想象的更接近答案，也可能永远没有答案。
项目主页：goals.baulab.info
作者：Natalie Shapira, Gabriele Sarti, Constanza Fierro, Lisa Schut, David Bau（Northeastern / Parallax / Copenhagen / Oxford）
代码：goals.baulab.info（公开可用）