学出来的特征，一半是神经元

解释一个神经网络，最省事的起点是看它内部的「特征」。但直接看不行：一个神经元会在「巴黎」「首都」「埃菲尔铁塔」完全不同的场景里放电，研究者管这叫多义性——一个神经元，多个意思，读不出结论。

于是几年前，可解释性社区换了一套工具：不再用神经元当分析单位，而是训练一个稀疏的替换模型去模仿原来的 MLP 层，让每个替换单元尽量只在一种场景下亮。这类替换模型叫 transcoder，大模型的公开特征词典（Gemma Scope 系列）就是用它造的。电路分析、归因图，过去两三年的主流做法全建在这些「学出来的特征」上。

2026 年 10 月 17 日挂上 arXiv 的这篇论文（arXiv 2610.24521，Stepan Shabalin 与 Mateusz Piotrowski，Anthropic Fellows 加佐治亚理工与 Anthropic），给这套默认做法做了一次体检。结论有点扎心：词典里挑大梁的那部分特征，大都是换了名字的神经元。

事情的起头：两条研究把问题翻了出来

故事从两个前作开始。Arora 等人 2026 年的工作发现，不用学出来的特征、直接拿原始 MLP 神经元做归因，某些场景下也能恢复出和特征词典一样稀疏、一样忠实的电路。Ye 等人 2025 年更进一步：把激活值超过阈值的神经元直接当成一个「词典」，在标准评测上能和学出来的词典打平。

既然裸神经元这么能打，transcoder 到底是必要的工具，还是昂贵的仪式？论文的思路是把两样东西放到同一把尺子下面，看特征到底比神经元多出了什么。

什么叫「特征就是神经元」

先得给「这个特征其实是神经元」定个可操作的判据。论文的做法：算每个特征的编码方向、解码方向和它最匹配的那个 MLP 神经元的余弦相似度，两个方向同时对同一个神经元都超过 0.7，才算数——而且这不只是权重像，激活模式和电路里的角色也要对得上。在大多数 transcoder 的逐特征散点图上，满足这个条件的特征会单独聚成一团，和其余特征界限分明，肉眼可分。

论文给这类特征起了名字：神经元特征（neuron features）。

数字：词典里是少数，激活里是大头

结果用一组数讲最清楚。论文扫了 13 个开源 transcoder，覆盖 Gemma、Qwen、Llama 三个家族。以 Gemma Scope 2 的小词典（262k 特征）配 Gemma 3 4B 为例：神经元特征在词典里只占 8.9%，激活份额却有 63.8%。少 数 载 了 大 半 的 货。

把模型从 10 亿排到 270 亿参数，这个反差单调放大：词典占比 5.9% → 8.9% → 15.6% → 37.1%，激活份额 57.9% → 63.8% → 82.8%。模型越大，神经元特征占的激活越多——原因之一很朴素：词典宽度固定，神经元越多，摊到每个神经元头上的特征越少，特征和神经元的对应反而越干净。到 26 万宽度时，第 22 层的神经元已有 93.3% 被至少一个特征以 0.7 的余弦认领。

跨全部 13 个 transcoder 汇总，后段层的激活里近一半来自神经元特征。例外也有：Llama 3.2 1B 只有约 38%；Qwen 14B 的中层（63%）反超后段（53%）。论文没把例外藏起来，标了「机制不明」。

还有个频率侧写：神经元特征的平均发射频率是其余特征的 10 倍以上；中位数上，特征的发射频率只有对齐神经元的 0.34 倍——特征不是神经元的复读机，它只在神经元上场的部分场景里出场。这恰好是「一个特征比一个神经元更专一」的样子。

三项体检：只有神经元特征经得起折腾

数字只能说明「谁在干活」，论文更狠的部分是问「谁是模型的，谁是训练的运气」。三项检验，对象是 Gemma 3 4B 第 22 层上自训的 transcoder。

第一项，换种子。同一配置换个随机种子重训一遍，看哪些特征还在。神经元特征基本都在；非神经元特征大量消失。

第二项，对雅可比。把 transcoder 的输入输出变化率（雅可比）和真 MLP 的雅可比逐特征比对——忠实度的硬标准。神经元特征那部分的雅可比和 MLP 对得上；对齐全部特征算出来的总雅可比相似度约 0.3，把非神经元特征剔掉、只留神经元特征，反而更高。换句话说，词典跟 MLP 学得像的那部分功劳，主要是神经元特征挣的。

第三项，看初始化。每个特征训练前都有一个随机初始化的出发点。非神经元特征从出发点挪动得不多——训练没怎么动它们，它们更像是初始化噪声落进词典的痕迹，而不是模型在用的结构。

三项合起来，论文的表述是：只有神经元特征与底层 MLP 中的什么东西有稳定对应。其余特征，忠实度差一些、跨种子不稳定、离随机初始化也不远。

一个「红色」的插曲

论文附录里有个挺妙的案例。给模型看「красное」（俄语的「红色」），按理说该有一个专门的「红色」特征在场。逐个打开看：那个位置的 transcoder 特征确实对齐神经元——但对齐的是三个多义的层 22 神经元，而不是某个干净的「红色」单元。特征词典没有凭空造出「红色」，它把三个神经元的活动重新打包了一下，让故事更好讲。多义性没有被消灭，只是被搬进了名字更好听的单元。

这算打脸吗

不算，算校准。transcoder 在重建精度（FVU、KL）上仍是最强的 MLP 替身，电路分析照样能做，词典也确实带来了纯粹神经元给不了的东西——附录里有双词组（bigram）特征的例子，那是神经元里不存在的结构。论文自己留着这一面，没有一边倒。

它动的是默认预期。过去讲故事的顺序是：神经元太多义，所以我们学出了干净的特征。这篇论文把顺序反过来：学出来的词典里，稳定可复现的那部分主要是神经元本身；真正「新」的非神经元结构也存在，但恰是最经不起换种子、对不上雅可比的那部分——要用好它们，得先发明新的归因方法。这是论文的收尾请求：非神经元结构得有称手的工具，才谈得上用起来。

下次看特征词典的论文，可以多问一句：这结果换一颗种子还在吗？第 22 层那 10,240 个神经元，8.9% 的词典载着 63.8% 的激活——词典没有白训，但它最值钱的部分，抄的是模型自己的底稿。

信源：arXiv 2610.24521v1（2026-10-17，Shabalin & Piotrowski，Anthropic Fellows × Georgia Tech × Anthropic）；8.9%/63.8% 取自论文 Table 4（Gemma Scope 2 Gemma 3 4B 行，后段层配置），13 transcoder 汇总、跨种子/雅可比/初始化三项检验、93.3% 覆盖率、0.34 频率比、「红色」案例均出自论文正文与附录；论文逐层图（Figure 19）与 Table 4 的层号对应在正文未明文给出，本文按「后段层」表述处理。