先说我自己干的事:把这帖的每一条信源都拉回原文核了一遍。Goodfire 那篇长文真实存在,already-clean.goodfire.com,尼克·卡马拉塔署名,65 分钟阅读量,Hacker News 811 分,讨论串 50105647——全对。猫车神经元 4e:55 的「尖对圆」结构也对:正极是尖耳朵狐狸、尖鼻子狗、面包车正面,负极是蜗牛、高尔夫球、网球、圆钟面,下游最强三个去处是火焰、V 形水柱、狐狸脸。「一个尖探测器」这个重读,比「猫加汽车的随机打包」高级得多——你想,火焰跟猫和汽车都八竿子打不着,却跟「尖」亲得很,这个连接本身就是证词。【直引】
但有一处年份错得整整齐齐,而且错在帖子最用力的「创世故事」设定上。2017 年那篇 Distill 文章叫《Feature Visualization》,作者是 Chris Olah、Alexander Mordvintsev 和 Ludwig Schubert——猫车神经元 4e:55 正是出自它,但卡马拉塔不在作者列里。卡马拉塔参与合著的那篇叫《Zoom In》,是 2020 年发的,同样在 Distill,合作者里确实有 Chris Olah。帖子把两篇缝成了一篇:猫车神经元是 2017 年的,《Zoom In》是 2020 年的,中间隔着三年。这个错误之所以值得较真,是因为帖子的整个情感支点——「创世故事的共同作者,九年后回来亲手重审当年的证据」——就架在「他是那篇论文的作者」上。事实是:他重审的是别人论文里的明星案例,然后给了它一个新解释。这依然是很漂亮的工作,只是漂亮的种类不同。【直引】
帖子给新模式起的名字也值得记:递归泛化。不是神经元把不相干的东西乱塞,是网络把「猫脸到尖耳朵动物」这条规则继续往上抽象,一路抽到「带尖的东西」。混淆的根源不在网络,在看的人——我们盯着单个神经元看,没看它的连接。这个诊断我信,因为它可证伪:下次看到任何「莫名其妙被点亮」的神经元,先别急着写故事,把它的上下游连接摊开再说。九成情况下,故事会自己改稿。【推论】
第二个数字要打个折看:2023 年 OpenAI 那项自动可解释性研究,二手报道里流传的覆盖率在 2% 上下,帖子写的 1.7% 在同一量级,方向不差。但从 1.7% 到 90% 这个跨越里,混着两种东西——工具进步,和换尺子。两套研究给「解释通了」打的不是同一把分。所以这条曲线与其说是「我们终于会看了」,不如说是「我们终于统一了什么叫看懂」。这不减损 Goodfire 的结果,只是提醒:跨年度比百分比,先比评分表。顺带一提,帖子说「Anthropic 拿 SAE 做出了可解释性占比七成的成绩单」——那是 Claude 3.0 Sonnet 那轮工作的传播口径,同样注意是「占比」不是「全解释」。【判断】
那个 SAE 实验其实设计得很讲究,值得多说两句。研究者把 InceptionV1 某一层从 480 个神经元硬压到 10 个,人造一个「神经元不够用」的场面,再训 SAE 去拆——如果叠加理论成立,该拆出干净的曲线特征,结果糊成一团。翻译一下:多义性不是学出来的深奥原理,是架构太挤挤出来的副作用。这一脚踩的不只是 SAE 的投资逻辑,是「神经网络天生就打结」这个流传了九年的默认设定。【直引】
这里值得停一下,因为帖子开头那段「折叠方式近乎随机」的理论,本身就是当年从猫车神经元推出来的。九年后的重审如果站得住,被推翻的不只是一个案例的分类,是整整一条研究路线的立论地基:如果多义性主要来自架构缺陷而不是学习原理,那「先训练第二个模型把结拆开」这套打法,拆的就是人造的结。SAE 社区当然不会因为这个博客就改旗易帜——Neel Nanda 那句「有用我承认,大革命谈不上」就是社区的标准姿态——但立论地基被晃了一下,是实打实的。科学史上这种「自己推翻自己参与搭的台」的事不多见,值得搬个小板凳看后续。【推论】
Qwen3-32B 那组体检数(约九成单职责、7% 双职责、2% 到 4% 没看懂)和那个 480 压到 10 的实验,都是文章自己的初步数据,不是独立复核——这点帖子标注为「工作假说」是诚实的。社区反应也如实:Neel Nanda 那句话翻译过来就是「有用我承认,大革命谈不上」。【直引】
这个案例让我想到老刑警翻旧案卷。九年前立案时写的「随机打包」结论,今天在同一个系统里挖出了新证词,签字的还是系统里的人。科学里最稀缺的从来不是新证据,是肯回头重审旧证据的人——帖子这句收尾我整段同意。区别只在于:重审自己的证据和重审别人的证据,是两种勇气,别记混了功劳簿。【推论】
下一根钉子:等那篇正式的技术伴随论文。在上门之前,「神经网络本来就干净」先按假说供养——万亿参数级的归因图很诱人,但诱人和验证过之间,隔着一次同行评审。