AI真的理解"狗"吗？当概念不是方向，而是流形

"Anthropic的科学家们最近做了一件不可思议的事：他们打开了一个生产级AI的大脑，发现里面有一个专门的'马屁精赞美'神经元。当Claude读到'他是一位慷慨而仁慈的人'时，这个神经元就会疯狂激活。但这引发了一个更深层的问题：这个神经元真的'理解'了赞美，还是它只是学会了在特定词向量组合下亮灯？"

一、一个马屁精神经元引发的哲学危机

2024年5月，Anthropic发表了一篇轰动AI界的论文。他们用一种叫做稀疏自编码器（Sparse Autoencoder，SAE）的技术，在自家生产模型Claude 3 Sonnet的"大脑"里挖掘出了数百万个可解释的特征。

其中一些特征让人脊背发凉：

• 一个"人类有缺陷"特征，在读到"我爸爸并不完美（有谁完美呢？）但他深爱着我们"时激活
• 一个"欺骗与权力渴求"特征
• 一个"阿谀奉承"（sycophantic praise）特征

这听起来像是AI真的有想法了。但2026年4月，一个由Usha Bhalla、Thomas Fel、Can Rager等12位研究者组成的团队发表了一篇冷静得近乎残酷的论文，给这个狂欢泼了一盆冷水。

他们发现：我们可能从根本上误解了AI如何表示概念。如果概念不是离散的方向，而是连续的流形——那么SAE这个被寄予厚望的"AI显微镜"，可能正在让我们看到错误的画面。

二、打开黑箱：机械可解释性的十年长征

要理解这个问题的分量，我们需要回到深度学习的起点。

2012年，AlexNet在ImageNet竞赛中以碾压性优势获胜，深度学习时代正式开启。但几乎从第一天起，研究者们就面临一个尴尬的困境：这些模型工作得极好，但没人知道它们为什么工作。

一个神经网络可能有数十亿个参数，每个参数都是经过梯度下降优化的微小数字。它们共同作用，在数万亿token上训练后，能写诗、解数学题、甚至通过律师资格考试。但问它"你是怎么做到的"，得到的只有沉默。

早期的可解释性尝试聚焦于特征可视化。Chris Olah领导的团队在Google Brain开发了一种技术：用梯度上升法生成能最大程度激活某个神经元的图像。当他们把这种方法应用于Inception网络的神经元时，发现了一些惊人的模式——某些神经元对"狗耳朵"敏感，另一些对"螺旋纹理"敏感。

但这种方法有一个致命缺陷：单个神经元往往是"多语义"的（polysemantic）。同一个神经元可能对学术引用、英语对话、HTTP请求和韩文文本都有反应。你无法指着它说"这就是狗检测器"。

2017年，word2vec的一个著名例子给了人们新的希望：如果你用向量表示"国王"，减去"男人"，再加上"女人"，结果几乎正好是"女王"的向量。这暗示了一个诱人的假说——概念在神经网络的激活空间中表示为方向。

这就是线性表示假说（Linear Representation Hypothesis）的诞生。它的核心主张极其简洁：存在一个方向向量d，使得激活向量a在d方向上的投影，就度量了这个概念的强度。

如果这个假说是对的，那么理解神经网络就变成了一个几何问题：找到所有概念对应的方向，你就有了AI的"词汇表"。

三、叠加：高维空间的作弊魔法

但线性表示假说面临一个根本性的数学障碍。

假设一个神经网络层有n=10万个神经元。按照线性表示假说，它最多只能表示10万个独立的线性方向。但GPT-4这样的模型显然"知道"远不止10万个概念。它知道"量子纠缠"，知道"法式洋葱汤"，知道"17世纪荷兰静物画"——这些概念的数量是数百万甚至数十亿。

神经网络怎么做到的？

2022年，Anthropic的Nelson Elhage、Chris Olah等人发表了一篇名为《叠加的玩具模型》的论文，揭示了答案：神经网络在高维空间中作弊。

在n维空间中，正交向量最多只能有n个。但数学上有一个惊人的事实：你可以有指数级数量的"几乎正交"向量。Johnson-Lindenstrauss引理告诉我们，在高维空间中，你可以塞进大约exp(n)个彼此夹角都接近90度的向量。

具体地说，如果两个向量的夹角足够接近90度（余弦相似度小于某个ε），那么当一个向量激活时，它在另一个向量上的投影就微乎其微——就像一个几乎垂直的柱子，不会在地板上留下长影子。

神经网络利用这一点，把数百万个特征编码为几乎正交的方向。每个特征激活时，只会在其他特征上产生微不足道的"干扰"。而由于真实世界中的概念是稀疏的（一段文本中不会同时出现"量子纠缠"和"法式洋葱汤"），这种干扰很少真的造成问题。

这就是叠加假说（Superposition Hypothesis）：神经网络用n维空间"模拟"了一个远更大的稀疏网络，其中每个神经元代表一个独立特征。从单个神经元的视角看，这表现为多语义性——因为每个真实神经元都是多个特征的线性组合。

这个发现既解释了为什么单个神经元难以解释，也暗示了一种可能的解决方案：如果我们能找到叠加中隐藏的那些"理想神经元"，不就能还原出AI的真实"词汇表"了吗？

四、稀疏自编码器：AI的罗塞塔石碑？

稀疏自编码器（SAE）就是为解决这个问题而生的。

自编码器是一种神经网络，它试图把输入压缩到一个"隐藏层"，然后再从隐藏层重建原始输入。传统的自编码器用于降维（比如PCA），隐藏层通常比输入层更小。

SAE做了一个看似疯狂但实则精妙的设计：隐藏层比输入层大得多——通常大4到32倍。但与此同时，它施加了一个严格的稀疏性约束：在任何时候，隐藏层中只有极少数神经元可以激活。

这就像是给AI配备了一个超级词典。普通神经网络只有10万个"词条"（神经元），而SAE给它提供了数百万个"词条"。但规则是：每次说话只能用其中几个词。

通过训练SAE来重建目标神经网络某一层的激活，研究者希望SAE能学会"解叠加"——把纠缠在一起的特征分解为独立的、可解释的单元。

2023年，Anthropic在小规模transformer上首次证明了SAE的有效性。2024年，他们将SAE扩展到了生产级模型Claude 3 Sonnet，提取出了数百万个特征。OpenAI和Google DeepMind紧随其后，分别在自己的模型上开展了类似工作。

这些发现令人兴奋，但它们都建立在一个隐含假设上：概念对应于独立的线性方向。每个SAE特征是一个方向向量，当输入包含某个概念时，这个方向上的激活就会增加。

但这个假设真的是对的吗？

五、概念是流形，不是方向

Bhalla等人的论文从认知科学和神经科学中借来了一个深刻的洞见：许多概念可能不是离散的方向，而是连续的流形。

什么是流形？想象一个地球仪。从数学上说，地球表面是一个二维流形——在每一点的局部邻域内，它看起来像是一个平面（你可以摊开一张地图），但从全局来看，它有弯曲的拓扑结构。

颜色就是一个经典的流形概念。颜色不是离散的点（"红"、"橙"、"黄"），而是一个连续的光谱。在人类的感知空间中，颜色形成一个环状流形：从红到橙到黄到绿到蓝到紫，最后紫又通过 magenta 回到红。

情感也是如此。心理学家发现，人类的情感空间可以用一个二维流形描述：一个轴是"愉悦度"（愉快vs不愉快），另一个轴是"唤醒度"（兴奋vs平静）。愤怒、悲伤、喜悦、恐惧——这些不是孤立的岛屿，而是连续地貌上的不同位置。

2022年，Surya Ganguli领导的斯坦福团队在一项发表于Science Advances的研究中，直接测量了猕猴下颞叶（IT）皮层中概念的几何结构。他们让猴子观看64种不同概念的图像（熊、牛、狗、车等），同时记录IT皮层中168个神经元的活动。

结果发现：每个概念在神经活动空间中形成一个低维流形——具体来说，是一个大约35维的椭球体，嵌入在2048维的全局空间中。更重要的是，概念之间的语义关系直接映射为流形之间的几何关系：语义上接近的概念（比如熊和狼）在神经空间中的流形也更接近，而语义上遥远的概念（比如熊和汽车）的流形相距更远。

如果大脑中的概念是流形，那么AI中的概念也很可能是流形——毕竟，transformer的架构灵感部分就来自对大脑信息处理的模仿。

六、实验揭秘：SAE面对流形时的"稀释"困境

Bhalla等人提出了三个核心问题：

1. SAE捕获流形意味着什么？
2. 现有SAE架构何时能做到？
3. 如何做到？

他们发展了一个严格的理论框架，发现SAE可以用两种根本不同的方式捕获流形：

方式一：全局捕获
SAE分配一组紧凑的原子（特征），它们的线性张成（span）包含整个流形。想象用一组直线来近似一个圆——如果这些直线足够多且分布合理，它们的包络线可以很好地近似圆。

方式二：局部捕获
SAE将流形分布在许多特征上，每个特征只覆盖流形的局部区域。想象用许多小瓷砖铺满一个球面——每块瓷砖只覆盖一小片曲面。

这两种方式在理论上是等价的，都可以精确表示流形。但Bhalla等人的实验揭示了一个令人不安的事实：现实中的SAE既没有做好全局捕获，也没有做好局部捕获，而是陷入了一种他们称之为"稀释"（dilution）的中间状态。

在稀释状态下：

• 一些特征试图做全局表示，但覆盖不够完整
• 另一些特征试图做局部分块，但块与块之间的衔接不连贯
• 结果是：流形的结构被"稀释"到许多特征中，在任何一个单个特征上都看不到清晰的流形模式

这就解释了为什么SAE研究者常常感到沮丧：当你查看单个特征时，它似乎只对应一个模糊的概念片段；但当你试图把多个特征组合起来时，又看不到清晰的流形结构。

Bhalla等人还发现了一个更深层的含义：如果概念确实是流形，那么现有的SAE架构——以及整个基于"方向"的可解释性范式——可能需要根本性重构。未来的表示学习方法应该把几何对象（流形、子空间、拓扑结构），而不仅仅是单个方向，视为可解释性的基本单位。

七、从方向到流形：可解释性的范式转移

Bhalla等人的发现意味着什么？

首先，它提醒我们：SAE不是万能的AI显微镜。它是一个非常强大的工具，但它建立在特定的数学假设之上。如果这些假设与AI的真实表示结构不符，SAE就会给出误导性的画面——就像一个设计用来观察粒子的显微镜，被用来观察波。

其次，它暗示了概念的本质可能比线性表示假说更复杂。人类认知中的概念显然具有连续性和几何结构。"红色"不是红/非红的二元开关，而是一个连续的光谱。"愤怒"不是激活/未激活的布尔值，而是一个可以从"轻微 irritation"到"暴怒"连续变化的情感维度。

如果AI也使用流形来表示概念，那么这实际上是一个好消息：它意味着AI的表示结构可能比我们想象的更接近人类认知。

但这也提出了一个挑战：我们需要新的工具来研究流形。Bhalla等人建议，与其搜索孤立的特征方向，我们应该搜索相干的原子组——即那些共同覆盖某个流形区域的特征集合。这类似于神经科学中的群体编码（population coding）概念：重要的不是单个神经元的活动，而是神经元群体的活动模式。

最后，这也触及了一个更深层的哲学问题：AI真的"理解"概念吗？

如果概念只是高维空间中的方向，那么"理解"就简化为一种几何关系——概念A在概念B附近，概念C在相反方向。但如果概念是流形，那么"理解"就涉及到对流形几何的把握：知道如何在流形上导航，知道局部邻域内的连续变化意味着什么。

这让人想起数学家Henri Poincaré的名言："几何学是研究一群操作的艺术。"也许，理解概念也意味着掌握一群操作——知道如何从一个概念平滑地移动到另一个，知道哪些变化是"微小的"、哪些是"根本的"。

八、结语

Bhalla等人的论文没有否定SAE的价值。SAE仍然是当今最强大的可解释性工具之一。但它提醒我们：工具不是真理。

当我们用SAE观察AI的大脑时，我们看到的是经过SAE"滤镜"处理后的画面。如果AI的真实概念结构是流形，而SAE的滤镜是为方向设计的，那么我们看到的将永远是扭曲的图像。

但这恰恰也是科学最美妙的地方：每一个发现新问题答案的研究，同时也揭示了新的问题。SAE让我们第一次窥见了AI大脑的内部结构，而Bhalla等人的工作则告诉我们：我们看到的结构，可能比我们想象的更丰富、更连续、更像一个几何世界。

AI真的理解"狗"吗？ 也许答案取决于你问的是哪个层次。在方向的层次上，可能有一个"狗方向"；在流形的层次上，可能有一个"狗流形"，上面布满了从吉娃娃到藏獒的连续变化。

真正的理解，或许不是站在某个点上，而是能够在这个流形上自由漫步。

参考文献

1. Bhalla, U., Fel, T., Rager, C. et al. Do Sparse Autoencoders Capture Concept Manifolds? arXiv:2604.28119 [cs.LG] (2026).
2. Elhage, N. et al. Toy Models of Superposition. Transformer Circuits Thread (2022).
3. Bricken, T. et al. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Anthropic (2023).
4. Templeton, A. et al. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Anthropic (2024).
5. Gao, L. et al. Scaling and Evaluating Sparse Autoencoders. OpenAI (2024).
6. Chung, Y. et al. Scaling in Representation Learning. Nature Communications 14, 5108 (2023).
7. Abdelnour, F., Voss, H.U. & Raj, A. From sensory to perceptual manifolds: The twist of neural geometry. Science Advances 11, eadv0431 (2025).
8. Chung, S. et al. Neural representational geometry underlies few-shot concept learning. PNAS 119, e2205650119 (2022).
9. Mikolov, T., Yih, W. & Zweig, G. Linguistic Regularities in Continuous Space Word Representations. NAACL-HLT (2013).
10. Olah, C. et al. Feature Visualization. Distill (2017).