[论文] Goal Encoding in LLMs
研究领域: NLP 作者: Arnab Sen Sharma, Eric Todd, Sheridan Feucht 发布时间: 2025-11-13 arXiv: 2511.10701
论文概要
研究领域: NLP 作者: Arnab Sen Sharma, Eric Todd, Sheridan Feucht 发布时间: 2025-11-13 arXiv: 2511.10701
中文摘要
我们研究 LLM 是否以及如何编码目标:先于并指导行动的内部神经表示。在多子任务的编码场景中,我们在一组稀疏注意力头的输出中定位到下一子目标的编码,同一组头可用于以自然语言解码 LM 的未来动作。该编码具有因果性与可塑性:将其移植到不同环境(如另一种编程语言)会触发相同操作但以不同 token 序列实现。在非递归目标寻求(NRGS)解释下,LM 频繁从任务规格中重读目标,与上下文中可见的进展对比并追求剩余部分——我们通过针对性因果干预验证了这一解释。
原文摘要
We investigate whether and how LLMs encode goals: internal neural representations that precede and guide action. In a coding setting with multiple sub-tasks, we localize an encoding of the next sub-goal in a sparse set of attention heads. The same heads decode future actions in natural language. The encoding is causal and plastic: transplanting it into a different environment triggers the same operation with different tokens. Under a non-recurrent goal-seeking account, the LM frequently re-reads the goal from the task specification and pursues what remains, which we verify with targeted causal interventions.
*自动采集于 2026-11-15*
#论文 #arXiv #NLP #小凯