猫和汽车共用一个神经元,九年之后有人说不对劲
2017 年,研究人员在图像识别网络 InceptionV1 里发现了一个著名的怪东西:一个神经元,看到猫脸会亮,看到汽车正面也会亮。猫和汽车,八竿子打不着的两类东西,挤在同一个神经元里。
这个案例后来成了可解释性领域的创世故事。从它推出一套理论:神经网络里的概念是打包存放的——神经元不够用,网络就把不相关的概念折叠到一起,折叠方式近乎随机。像一团打了死结的线,想研究网络,得先训练第二个模型把结拆开。过去几年大红大紫的稀疏自编码器(SAE),干的就是拆结的活,Anthropic 拿它做出了可解释性占比七成的成绩单。
这周,Goodfire 的尼克·卡马拉塔发了一篇长文,标题叫《神经网络本来就是干净的》。此人身份特殊:2017 年那篇引入「多义性」概念的论文《Zoom In》,他正是作者之一。等于创世故事的共同作者,九年后回来亲手重审当年的证据。
猫车神经元的真相:尖还是圆
他重看了那个猫车神经元,这回不孤立地看它,而是看它连接的所有上下游。连接图一摊开,模式自己浮出来了。
这个神经元的正极输入是:尖耳朵的狐狸脸、狼脸、尖鼻子的狗、面包车正面。它的负极——让它往反方向动的——是:圆滚滚的蜗牛、高尔夫球、网球、圆钟面。它往下游输出最强的三个去处:火焰、消防船喷出的 V 形水柱、狐狸脸。
火焰跟猫有什么关系?跟汽车有什么关系?都 没有。但跟「尖」有关系。火焰是尖的,水柱是尖的,狐狸耳朵是尖的,汽车正面那个进气格栅是尖的。这个神经元根本不是「猫加汽车」,它是一个「尖」探测器——尖锐的东西让它兴奋,圆润的东西让它安静。猫脸和汽车前脸只是恰好都带尖角的两样东西。
原文那句反问很锋利:如果这真是猫和汽车的随机打包,它为什么需要跟火焰连得那么紧?
作者给这个模式起了名字:递归泛化。不是神经元把不相干的东西乱塞,是网络在学习中把「猫→尖耳朵动物」这条规则继续往上抽象,抽到「带尖的东西」。混淆的根源不在网络,在看的人——我们盯着神经元本身看,没看它的连接。
九成神经元只有一份工作
第二部分证据来自语言模型。Goodfire 对 Qwen3-32B 做了初步体检:约九成神经元(的极性)只有一个主要职责,通常带点相关的小分支;约 7% 有两个相关职责;真正没看懂的只剩 2% 到 4%。
这个数字要放在历史对照里才有分量。2023 年 OpenAI 的自动可解释性研究(卡马拉塔本人参与)用当时最宽松的量尺,只找到约 1.7% 的神经元能解释。同一个世界,从 1.7% 到 90%,差的不只是工具进步——作者的判断是:当年解释不了,很大一部分原因是我们不会看。
论文还顺带踩了 SAE 一脚,实验做得很讲究:把 InceptionV1 的某一层从 480 个神经元压到 10 个,硬造出「神经元不够用」的场景,再训 SAE 去拆——如果叠加理论成立,应该能拆出干净的曲线特征。结果 SAE 找回来的东西糊成一团。作者的解释:早期模型的多义性主要来自架构缺陷(后续层溢出),不是什么深刻的学习原理。
这是一张期票,不是支票
文章末尾作者自己给乐观结论标了价:「高度推测」。研究团队在模型上做了上千个神经元研究,包括万亿参数级的 Kimi K3——他们顺手发布了(据他们所知)第一个万亿参数级的归因图——但很多实验还是初步的,正式的技术伴随论文在路上。
社区的反应用一天时间就到了。Hacker News 八百多分,但热评里有句冷静的话获得了不少共鸣:这个调门,像极了 Anthropic 当年公布第一批大规模 SAE 结果时的亢奋。谷歌 DeepMind 的 Neel Nanda 给的评价相对公道:对「解释模型为什么干了某件具体事」这个实用目标,这路线有真实证据,也许真能用;但要说这就是通往彻底逆向工程神经网络的大路,不同意。
这个分歧值得留在心里。如果「网络本来就干净」成立,影响是结构性的:可解释性研究从「先拆结再研究」变成「直接做常规科学」,SAE 那条拆结路线的投资逻辑被动摇。如果不成立,至少也收获了一批高质量的神经元解剖样本。无论哪边对,那个九年前就开始误导的猫车故事,这次被自己的发现者重新量了一遍——科学里最稀缺的从来不是新证据,是肯回头重审旧证据的人。
信源:Goodfire《Neural Networks Are Already Clean》(Nick Cammarata,2026-10,65 分钟长文,already-clean.goodfire.com);InceptionV1 猫车神经元 4e:55 重读(尖/圆结构);Qwen3-32B 初步体检(约 90% 单职责/7% 双职责/2-4% 未懂);OpenAI 2023 自动可解释性(1.7%);Hacker News 讨论(811 分,含 Neel Nanda 评论)。工作假说,作者自标「高度推测」。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。