同一组神经元，不同的剧本：任务上下文如何重塑 LLM 的内部影响力地图

你有一个 14B 参数的语言模型。它用同一组注意力头处理"路径查找"、"边查找"、"逻辑与"这些完全不同的任务。这些头是共享的——但它们在不同任务里做的事情一样吗？

一篇来自 University of Pennsylvania 的论文给出了一个反直觉的答案：同样的头，同样的输入事实，只是任务指令变了，头与头之间的影响力方向就完全重新分布。

这个发现听起来很技术，但它的灵感来源出人意料地优雅——人类大脑。

从神经科学借来的显微镜

网络神经科学有一个经典发现：大脑的不同脑区会参与多种任务，但它们之间的互动模式随任务改变。Cole 等人 2014 年的工作显示，同样的脑区在"工作记忆"任务和"注意"任务中，功能连接模式是不同的。组件不变，关系变了。

论文作者 Mohapatra 和 Bassett 把这个视角搬到了语言模型上。他们问：LLM 里同样的注意力头，在不同任务中，它们之间的"影响力"（influence）会不会也重新分布？

这个问题之前没人系统性地回答过，因为大多数电路发现工作（circuit discovery）关注的是"哪些头重要"，而不是"同一组头在不同任务中做什么不同的事"。

实验设计：图事实 + 任务切换

实验设计精巧而克制。他们构造了一组"图事实"——有向图的边是否存在（A→B, B→C, A→C）。然后给模型五个任务：

• Compose path：检查 A→B 和 B→C 是否都存在（路径 A→B→C）
• Read fact 1：检查 A→B 是否存在
• Read fact 2：检查 B→C 是否存在
• AND：检查 B→C 和 A→C 是否都存在
• Read direct：检查 A→C 是否存在

关键点：所有任务用同一组图事实，只是指令不同。 如果模型只是"读事实"，那么不管什么任务，同一个头的反应应该一样。如果任务上下文真的塑造了组件角色，那么同一个头在不同任务中的影响力应该不同。

他们测了五个模型：Gemma-2-9B、Qwen3-14B、Llama-3.1-8B、Falcon-H1 1.5B 和 7B。在三个深度的注意力头（H1、H2、H3）和一个残差流位置（Res）上测量"影响力"——定义为"源头扰动一个单位时，下游接收端的响应变化"。

核心发现：影响力地图的旋转

发现一：任务变了，影响力模式跟着变。

他们用"影响力向量的夹角"来量化两个任务之间影响力模式的差异。如果两个任务的影响力模式完全相同，夹角为 0°；如果完全无关，夹角为 90°。

结果：在所有五个模型中，任务切换导致影响力模式显著旋转。同一组头，同一组事实，只是任务指令变了，头与头之间的影响方向就完全不同。

这就像同一个乐队，换一首曲子，每个乐手还是坐在原来的位置，但他们之间的配合方式完全变了。小提琴在 A 曲里领奏，在 B 曲里只是伴奏。

发现二：内部任务编辑可以重定向事实响应。

他们用"任务向量干预"——在模型的内部表示中注入一个任务向量，而不改变输入提示词。结果：

• Gemma-2-9B：影响力模式与目标任务模式的距离降低了 93.2%
• Qwen3-14B：降低了 76.7%

这意味着你可以在不改变任何外部输入的情况下，通过编辑内部任务表示，让模型"以为"自己在做另一个任务，从而改变它对同一组事实的响应方式。任务上下文不是被动地影响模型行为，它主动地重写了组件之间的信息流。

发现三：当前内部上下文比平均上下文更能预测下游响应。

在同一个提示词内，用当前的内部上下文状态预测下游头的响应，比用未编辑和任务编辑的平均状态预测更准确。Gemma 的预测误差降低了 53.6%，Qwen 降低了 5.0%。

这说明任务上下文不是"叠加"在基础响应上的噪声，而是系统性地产出可预测的下游影响。

为什么这很重要？

第一，它补全了电路发现工作的盲区。

之前的电路发现工作（Wang et al. 2023, Conmy et al. 2023）回答了"哪些头在哪个任务中重要"，但没有回答"同一组头在不同任务中做什么不同的事"。这篇论文填补了这个空白：组件身份不变，但组件间的互动模式是任务依赖的。

这就像你知道一个公司的组织架构图，但不知道在不同项目里谁听谁的。这篇论文画出了"动态影响力图"——同一个团队在不同项目里的协作模式。

第二，它给"任务向量"研究提供了机制层面的解释。

之前的工作（Hendel et al. 2023, Sclar et al. 2024）发现可以在模型内部注入任务向量来切换任务。但为什么这能work？这篇论文展示了：任务向量改变了组件间的影响力分布，而不仅仅是改变了某个头的激活值。任务向量是"影响力重分布的触发器"，不是"直接改变输出的开关"。

第三，它对"共享组件"的效率-灵活性权衡提出了新视角。

模型用同一组头处理所有任务——这是参数效率的极致。但这不意味着"共享=相同"。共享组件通过改变互动模式来实现不同任务，就像大脑用同一组脑区实现不同功能。效率来自组件共享，灵活性来自互动模式的动态重组。

和"判断-闸门解耦"的连接

这篇论文的发现和之前 PTP-U 的"提议-投影"框架形成互补：

• PTP-U：在模型修改任务中，提议（判断）和投影（闸门）解耦，投影步骤过滤冗余扰动
• 本文：在推理任务中，组件（硬件）和影响力模式（软件）解耦，任务上下文重写影响力模式

两者指向同一个深层原理：AI 系统的关键计算结构不是"在哪里发生"，而是"如何被调控"。 位置不变，调控变了，行为就变了。

这对可控性研究有直接启示：与其修改模型参数（侵入性大），不如修改内部任务上下文（侵入性小但效果显著）。Gemma 93.2% 的影响力重定向就是证据。

一个让人着迷的类比

想象一个剧院。舞台上有 10 个演员。演《哈姆雷特》时，第 3 号演员演国王，第 7 号演员演朋友。演《麦克白》时，还是这 10 个演员，但第 3 号演叛将，第 7 号演刺客。演员没换，角色关系全变了。

语言模型就是这样一个剧院。注意力头是演员，任务上下文是剧本。换剧本，同一个演员就从"国王"变成"叛将"，和其他演员的对手戏也完全不同。

这不是"一个头一个功能"的旧范式，而是"一个头多种角色，角色由上下文决定"的新范式。 和大脑的工作方式惊人地相似。

论文： Task Context Shapes Component Roles in Language Models

作者： Sovesh Mohapatra, Dani S. Bassett (University of Pennsylvania)

代码： 未开源