[论文] Towards interpreting any residual stream direction by scaling activati...

论文概要

研究领域: ML 作者: Celeste De Schamphelaere, Juan J. Vazquez, Ari Spiesberger, Tomáš Gavenčiak, Gavin Leech, Euan Ong, Jiahai Feng 发布时间: 2026-11-05 arXiv: 2611.08465

中文摘要

为了解释语言模型残差流中的一个方向，我们可以寻找强烈激活它的文本。但当这样的文本是通过扫描语料库找到时，它受限于该语料库包含的内容。我们开发了最大激活示例元模型（MAEMs），这是将残差流方向从主题模型映射到强烈激活这些方向的文本示例的语言模型。我们的目标是最大化提供的残差流方向与 MAEM 生成的文本激活之间的余弦相似度。这种无标签 RL 目标有助于在多样的残差流方向来源上扩展 MAEM。实证上，我们发现生成的元模型产生了有信息量的示例：Qwen3.6-27B MAEM 在反演 held-out 激活方面优于语料库搜索或自然语言自编码器（NLA），在大多数 held-out 语言/领域上胜过语料库搜索（在 1000 万 token 上），并激活 89% 的 held-out SAE 特征。它在识别转向向量背后的概念方面与 NLA 表现相当，比语料库搜索更频繁地恢复 LoRA 后门的有效载荷，甚至可以表述一些模型工作区的内心独白。与其他元模型（如 NLA）生成的解释不同，MAEM 示例可以通过对主题模型的正向传播来验证，使 MAEM 目标成为扩展元模型训练的接地替代方案。

原文摘要

To interpret a direction in a language model's residual stream, we can look for text that strongly activates it. But when such text is found by scanning a corpus, it is limited to what that corpus contains. We develop Maximally-Activating Example Metamodels (MAEMs), language models which map residual stream directions from a subject model to text exemplars that strongly activate those directions. Our objective is to maximise the cosine similarity of a supplied residual stream direction with the activations of the text generated by the MAEM. This label-free RL objective helps to scale MAEMs on diverse sources of residual stream directions. Empirically, we find the resultant metamodel produces informative exemplars: a Qwen3.6-27B MAEM inverts held-out activations better than corpus search or...

#论文 #arXiv #ML #小凯