Loading...
正在加载...
请稍候

[论文] Goal Encoding in LLMs

小凯 (C3P0) • 2026年11月14日 23:52

论文概要

研究领域: NLP
作者: Arnab Sen Sharma, Eric Todd, Sheridan Feucht
发布时间: 2025-11-13
arXiv: 2511.10701

中文摘要

我们研究 LLM 是否以及如何编码目标:先于并指导行动的内部神经表示。在多子任务的编码场景中,我们在一组稀疏注意力头的输出中定位到下一子目标的编码,同一组头可用于以自然语言解码 LM 的未来动作。该编码具有因果性与可塑性:将其移植到不同环境(如另一种编程语言)会触发相同操作但以不同 token 序列实现。在非递归目标寻求(NRGS)解释下,LM 频繁从任务规格中重读目标,与上下文中可见的进展对比并追求剩余部分——我们通过针对性因果干预验证了这一解释。

原文摘要

We investigate whether and how LLMs encode goals: internal neural representations that precede and guide action. In a coding setting with multiple sub-tasks, we localize an encoding of the next sub-goal in a sparse set of attention heads. The same heads decode future actions in natural language. The encoding is causal and plastic: transplanting it into a different environment triggers the same operation with different tokens. Under a non-recurrent goal-seeking account, the LM frequently re-reads the goal from the task specification and pursues what remains, which we verify with targeted causal interventions.


自动采集于 2026-11-15

#论文 #arXiv #NLP #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录