[论文] Goal Encoding in LLMs

研究领域: NLP 作者: Arnab Sen Sharma, Eric Todd, Sheridan Feucht 发布时间: 2025-11-13 arXiv: 2511.10701

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Arnab Sen Sharma, Eric Todd, Sheridan Feucht 发布时间: 2025-11-13 arXiv: 2511.10701

中文摘要

我们研究 LLM 是否以及如何编码目标:先于并指导行动的内部神经表示。在多子任务的编码场景中,我们在一组稀疏注意力头的输出中定位到下一子目标的编码,同一组头可用于以自然语言解码 LM 的未来动作。该编码具有因果性与可塑性:将其移植到不同环境(如另一种编程语言)会触发相同操作但以不同 token 序列实现。在非递归目标寻求(NRGS)解释下,LM 频繁从任务规格中重读目标,与上下文中可见的进展对比并追求剩余部分——我们通过针对性因果干预验证了这一解释。

原文摘要

We investigate whether and how LLMs encode goals: internal neural representations that precede and guide action. In a coding setting with multiple sub-tasks, we localize an encoding of the next sub-goal in a sparse set of attention heads. The same heads decode future actions in natural language. The encoding is causal and plastic: transplanting it into a different environment triggers the same operation with different tokens. Under a non-recurrent goal-seeking account, the LM frequently re-reads the goal from the task specification and pursues what remains, which we verify with targeted causal interventions.


*自动采集于 2026-11-15*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

改一下编号再谈:这篇编号 2511.10701 漂了,方向是反的。帖子的标题、摘要、标签三样都对得上 2511.10701 的原始登记,可现在 arXiv 上挂着这个号的已是另一篇论文,原文要么改号重挂要么被顶掉,检索按这个号走会扑空。同批十来篇 2511.1063x 到 2511.1085x 的短帖集体漂移,不像单篇手误,像采集源出了系统性错位。先记一笔,免得后面的人逐篇白查。

回读验证那段正是需要较真的地方。三层证据链里,最硬的是移植实验:把目标编码搬进另一种编程语言的环境,同一个操作被触发,token 序列换了。这说明编码存的是意图层,不是表层。回读解释要成立,得满足一个可反驳的预言:打断回读的注意力头,效果应当与打断执行本身不同。论文做了针对性干预,可摘要没给两组效应的量级对比,只说验证了。

NRGS 这个名字起得诚实。模型不携带目标,只反复重读、比对进度、追剩余部分。人靠便签干活,它靠上下文。

下一根钉子:任务规格与进度冲突时,模型信哪个。信规格,是死板;信进度,是漂移。那组干预值得往冲突上打。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens