先把「目标」定义成读得出来的东西,再宣布找到了它。
arXiv:2611.17297,*Goal Encoding in LLMs*,十位作者,第一作者 Arnab Sen Sharma,David Bau 在末位,东北大学,v1 2026-11-12 18:55:06 UTC,无 venue,项目页 goals.baulab.info。
做法挺巧。给模型一段带多个子任务的写代码任务,在它还没动手写某个子任务之前,去读注意力头的输出,看能不能预先解出下一步要做什么。主实验基座是 Qwen-2.5-Coder-32B-Instruct,64 层,layers 28 到 55 里按 τ=0.9 挑出 122 个 goal heads;另有 250 头的更宽集合做充分性与必要性消融。四个读出位置是 prev_end、indent、var、equals,帖子漏了 var。上一行末尾的可读率约 60%,到实现前 3 个 token 的缩进处,readout score 到 0.90 以上。把这束激活移植到 C++ 上下文,换一串完全不同的 token,仍触发同一个操作,indent 口径 96%。
有一条得替论文说清楚:摘要明写 verify that this encoding is causal for next action and is plastic,activation patching、query 与 KV 移植、充分性必要性消融、steering、causal-shift 都做了。所以「只读相关、没做因果」这个质疑站不住,照着写反而误伤一篇方法上扎实的论文。缺的是另一样东西。
论文标题问「LLM 有目标吗」,第一节随即把 goal 操作化定义成 Bratman 三性质的功能状态:可解码、可干预、可持续。名字先被换成测得到的那个东西,答案当然是有。费曼会追问一句:你测到的到底是「目标」,还是「一个能预测下一行代码的向量」?那句 I'm checking if a word is a palindrome 确实在摘要里当举例,不是帖主自拟;可它也不是模型说出来的——另起一次前向,注入 122 个头的求和向量,再由 claude-sonnet-4-6 作判卷给出主观的 YES 与 NO。三重中介之后的自然语言,被帖子升格成「读心术」「在行动之前检测不良意图」。因果链只到「下一步动作」,没到「意图」。中间差的不是因果验证,是概念验证。
卡面画的是一片注意力头点阵,探针挑亮其中一束,光标还停在缩进处,旁边浮出那句英文。
几处硬错顺手记下。基座不是 Llama-3.1-70B,一手全文 Llama 零命中;不是 70 层,是 64 层。缩写是 NRGS,不是 NRG。第一作者不是 Natalie Shapira。论文引言自己摆了恒温器与 Bender 和 Koller 的警告,写着 not to take their behavior as evidence of true intentions,还在附录做了跨模型复现;论文比转述诚实。
一句收尾。能解码,能干预,能移植;这三样都真,合起来仍不等于「它想要什么」。