神经外科医生的新病人——当神经科学的放大镜对准大模型的脑子

神经外科医生的新病人

——当神经科学的放大镜对准大模型的脑子

「能力的自举与结构」三部曲 · 第三篇：结构

前两篇里，MASS 让 AI 向内求——同一个模型分饰员工、考官和教练，把改进一轮一轮滚进权重；AAArena 让 AI 向外求——权重一个数不动，靠打比赛、看回放涨棋。这一篇换个姿势：不问 AI 做了什么，看它的脑子里长了什么。三篇合起来，是「能力从哪里来」这个问题在 2026 年的一张新草图。

🧠 先看人脑

神经科学界有一个观察，静悄悄地流传了很多年。

把人脑放进 fMRI 里，盯着血流和信号看，你会得到一张功能网络：哪些脑区在执行任务时一起亮，哪些各干各的。这张网络有个稳定的脾气——它是"小世界"网络。

什么叫小世界？想想你老家的村庄。村里家家户户互相都熟：张家盖房，李家去帮工；谁家杀了年猪，半个村子去吃饭。这叫聚类——邻居的邻居也是邻居。但村里任何人想办点"大事"，去县城批货、给孩子转学，也不用认识全县的人，托两三个人，就能找到正主。这叫短路径。村庄的市井气，加上县城的可达性，两个特点长在同一个网络身上，这就是小世界。

二十多年前，Watts 和 Strogatz 在《自然》上把这套概念讲清楚，人脑很快成了它最有名的案例：脑区内部高度抱团，脑区之间又只隔几步。更耐人寻味的是后半截——神经科学家发现，这套结构的强弱，和人的智力有关。做 Raven 渐进矩阵（一种经典流体智力测试，考的是找规律、做抽象迁移）得分高的人，脑功能网络的聚类系数更高。大脑的"村庄化"程度，藏着聪明的一部分秘密。

为什么会这样？神经科学有个解释叫"高效脑假说"：思考是要花能量的，而抱团加近路的结构，能用最低的能耗换来最高的信息传递效率。村子不是白抱团的——闲话在村里传得飞快，出村办正事也误不了，两头都占。这个解释放在碳基脑子里说得通，那么，硅基的呢？

好，现在到了这个故事真正的问题。

人类研究自己大脑的路数，能不能搬到人工智能身上？大模型的"脑区"在哪里？它的"村庄"长什么样？如果人脑的智力有小世界签名，那机器的推理能力，会不会也签在同一个地方？

Dartmouth、Yale、NYU 等五个学校的一群研究者，决定动这个手术。论文标题很直白：Looking Inside LLMs——往大模型里面看。

🗺️ 给机器脑子画地图

先说解剖学。大模型内部有什么？Transformer 是一层一层摞起来的注意力机器，每一层里排着一排注意力头。这些头就是这台机器里最小的功能单位——有的头管语法，有的头管指代，有的头盯着前文的某个位置，各管一段。

所以地图这样画：一个注意力头 = 一个节点。L 层 × H 头，得到 M 个节点。

接下来的问题是：两个头之间"连不连线"，凭什么？

现实中两个村民来往密切，你能看见；神经科学家判断两个脑区功能相关，看它们一起放电的频率。这里没有电可查，但有激活可查。给模型喂题，记录每个头吐出来的激活向量，就能拿到它的"脑电波"。

喂什么题有讲究。想测推理能力，就得在它推理的时候拍脑照。研究者选的是 DRE-Bench 的流体推理题——考找规律、考抽象迁移的那一类，基本就是人类智力测试的 AI 版。题目一道道过，每个头都留下一串作答时的激活记录。两个头的波形越像，说明它们在这批题目上的分工越接近，就给它们连一条线。

技术上，论文用的是 SVCCA 的一种变体：把两个头的激活向量先做典型相关分析，再用 Fisher z 变换把相关系数规整一番（公式 7），最后只保留相似度排进前 δ 的边。一张"功能图"就此画成——不是物理连线的图，是功能关系的图，相当于脑科学里"功能连接"之于解剖连接。

这一步值得停一秒。它整套抄的是神经科学的作业：脑区对注意力头，共激活对激活相似度，功能连接图对头功能图。病人换了，病历格式没换。还有一点神经科学的味道藏在细节里：这张图是"功能"图，不是解剖图。头与头的物理连线在训练结束时就焊死了，变不了；但功能连线的疏密，会随着喂的题、模型当时的状态而改变。神经科学家看大脑也是这个路子——解剖连接一辈子大体不变，功能连接却随任务松紧。用变化的图去量不变的体质，正是小世界研究在人脑里走过的老路。

📏 量一量村子的成色

有了地图，下一步得有尺子。

小世界有两个指标，前面说过：聚类，村里的抱团程度；路径，去县城要转几手。论文把两者合成一个数，叫小世界指数（SWI）：

SWI =（真实聚类系数 ÷ 随机图的聚类系数）×（真实全局效率 ÷ 随机图的全局效率）

分母是"随机图"——同样多的节点、同样多的边，闭着眼睛乱连一气出来的网络。拿真网络跟随机网络比，才知道"抱团"和"近路"是不是显著。SWI 大于 1，说明它比随机乱连更抱团也更通达，小世界属性成立；SWI 越大，村子越像村子。两个乘数各有各的脾气：前一个管"村里是不是热络"，后一个管"出村办事顺不顺"，缺一个都撑不起小世界这块招牌。

这杆秤还有个隐蔽的好处：它是比值。节点多少、边多密，都约掉了，所以不同架构、不同体量的模型摆在一起，也能用同一把尺子比。

尺子备好了，可以开始量病人。

📈 一路长出来的结构

第一组实验，盯着同一个病人从小到大。

Pythia-6.9B 是个从生到熟全程留了检查点的模型，研究者沿着训练进程取了一批快照，从 step 4,000 到 step 143,000，每个快照都喂同一批推理题、画一张功能图、量一次 SWI。

结果像一段延时摄影：

step 4,000：SWI 0.4587，NLL 0.8255。 step 143,000：SWI 1.1864，NLL 0.3749。

解释一下这两个数。NLL 是负对数似然，衡量模型答题错得有多离谱，越低越好。SWI 从小于 1 一路爬到接近 1.2，意味着这个模型在训练中一点一点长出了小世界结构——起初它的注意力头们各自为战，抱团程度和通达程度加起来还够不上随机乱连的水平；训练往前推，头与头之间开始抱团、开始有近路，网络一点点"村庄化"。与此同时，答题的错误率从 0.8255 降到 0.3749。

两条曲线一起爬，中间的相关性不用花哨的统计也能看出来。结构不是装上去的，是长出来的。这个细节我很喜欢：能力的增长在权重里留下了痕迹，而且痕迹有形状。以前我们说模型"学会了"，依据是输出对了；现在可以说，它学会的过程本身有足迹可循——头与头之间的连线方式，就是足迹。

第二组实验，横着比。

六个模型一字排开：Qwen3-4B、Qwen3-8B、Qwen3-14B，Llama-3.2-1B、Llama-3.2-3B，Llama-3-8B。都画功能图，都量 SWI，都在 DRE-Bench 上报 NLL。结果干干净净：SWI 最高的 Qwen3-14B，NLL 最低；SWI 最低的 Llama-3.2-1B，NLL 最高。六个模型从小到大，SWI 和推理成绩排得整整齐齐，一次都没乱。尤其值得一提的是，这六个人来自两家门第、三种体量——趋势跨家族成立，说明量到的是普适的规律，而非哪一家的家学。

换一块考卷再验：在 MMLU 上画功能图，趋势一样。

这里就有个让人心里一动的地方了。以前判断模型聪不聪明，只能看它做题——行为评测，考一次试出一个分。现在有人发现，不用等考试：掀开盖子量一量脑内的"村庄化"程度，就能估出推理能力的成色。行为评测给的是"分数"，结构评测给的是"体征"。

🕵️ 村里的大人物

地图画了，尺子量了，接下来该打听人了：哪些头是村里的大人物？

找大人物的方法很朴素，借的是 Michel 等人 2019 年的老手艺：给每个头的输出乘上一个标量 g_i——相当于给这位村民的话筒装一个音量旋钮——然后看损失函数对 g_i 的梯度绝对值。梯度大，说明轻轻拧一点音量，模型的答题错误就明显波动，这个头举足轻重；梯度小，拧了也白拧，边缘人物。

好，现在把大人物在地图上标出来，再对照村子的行政区划。区划让 Louvain 算法自动画——这种社区检测算法专找网络里抱团的"自然村"。每个头拿到两个分数：

core score（核心分）：这个头的连接权重里，多大比例落在自己社区内部。比例高，说明它深耕本地，是村里的坐地户。

bridge score（桥接分）：它那些跨社区的连接，分散在多少个别的社区。分散得广，桥接分高，这是位交际花，跟哪个村都搭得上话；桥接分低，说明它跟外村来往不多，且集中在固定的少数几个村——热线就那么几条，条条是专线。所以注意，桥接分低不等于与世隔绝，它只是把有限的对外名额，押在了最值钱的几条线上。

直觉上你会赌谁是大人物？多半是交际花吧——人脉广，消息灵通，删谁也不敢删它。

这个直觉错得很有教益。回头想想村里的实情：真正撑起一个村子的，多半是那些把一门手艺磨到极致的铁匠、把账目理得清清楚楚的账房。掮客认识的人再多，村里缺了他们照样转；铁匠铺一歇火，全村的犁都等着修。头的世界同理：一个深耕本社区的头，把它删掉，它负责的那摊活儿立刻没人接；一个到处搭线的头，删了它，信息流自然绕路走。这个朴素判断对不对，数据说了算。下面看数。

在 Llama-3.2-3B 上，最重要的前 25% 的头里，89.3% 是低桥接头；剩下 75% 的普通头里，低桥接头的比例只有 36.9%。这个差距的 p 值是 3.61×10⁻³⁴——统计学家看见这个数会失笑，它比"太阳打西边出来"还确定，基本不可能是巧合。

再看核心分：重要头里 49.4% 是高核心，普通头里只有 23.8%（p = 5.95×10⁻⁹），差距同样一锤定音。

两句话翻译过来：大模型关键人物的画像几乎是固定的——深耕自己社区的坐地户，对外只保留几条专线，深居简出。它们把绝大部分力气花在本村的事务上，跨村的联系少而精。那些看似八面玲珑的交际花头，恰恰大多是可以舍去的龙套。

人脑科学家看了这个画像会眼熟。人脑的功能枢纽也这副脾气：模块内部密集连接，模块之间精选少量通道。机器和肉，在这个细节上又对上了。

✂️ 动刀子的艺术

发现如果只用来感叹，就太浪费了。这群研究者的下一步直奔实用：剪枝。

大模型太贵，部署不起，剪枝就是给它瘦身——把不重要的权重砍掉，跑得快、跑得省。70% 稀疏度这个常用档位，意思是删掉七成权重、只留三成，近乎一场大减肥，稍不留神就把肌肉一起减没了。传统方法 Wanda、SparseGPT 看的是权重数值本身，相当于按"谁嗓门小就剪谁"，粗暴但好使。

这篇论文说，先别急着按嗓门剪。既然重要头的画像是"低桥接、高核心"，那就按画像下刀。他们设计了 SWA（Small-World Allocation，小世界分配）：

每个头算一个优先级分数：p_i = 桥接分位 ×（1 − 核心分位）。桥接越高、核心越低——越是交际花、越是浮头——越先剪；低桥接、高核心的坐地户，刀下留情。

分配还讲层级：先算每一层所有头的平均分，给层与层之间分配稀疏额度，再在层内部按头的分数精调。先定格局，再挑摆件，粗细两层各管一段。

效果如何？上数字。

WikiText 困惑度（衡量语言模型预测文本的离谱程度，越低越好），六个模型、50% 和 70% 两档稀疏度，SWA 全面压住 Wanda、SparseGPT，连它们的 FARMS、ATP 增强版也一起压。挑两个最扎眼的，70% 稀疏度下：

• Llama-3.2-3B：Wanda 177.8 → SWA 118.67
• Llama-3-8B：SparseGPT 140.5 → SWA 82.36

Zero-shot 下游任务，Llama-3-8B、70% 稀疏度：Wanda 27.57% → SWA 37.89%，比当时最强的基线 ATP 还高出 1.99 个百分点。

还有几组实验给方法托底。消融显示：层间分配贡献了主信号，层内精修负责微调，两层设计各司其职，谁也替代不了谁。这个分工也很合直觉：先保证每个村的人员编制不垮，再决定村里先精简谁，次序一乱，满盘皆输。换数据集重画功能图——GSM8K、ARC-C、MMLU 上都画一遍——70% 稀疏度下所有模型仍有提升。这套"村庄地图"不挑题，画在谁身上都灵。

从"看懂结构"到"用上结构"，中间只隔一层窗户纸。结构学的实用价值，这一刀剪出来了。而且这条路还有后劲：剪枝只是头一件能做的事，既然能按结构判断谁先谁后，那蒸馏、合并、专家化——凡是动模型结构的手术，理论上都能请这张村庄地图当术前造影。

🔭 换一双眼睛看模型

最后说说这件事为什么重要。

第一条是"首次"的分量。注意力头功能图呈现小世界组织，这在人脑里是常识，在 LLM 里此前没人证明过。这篇论文把两边第一次连了起来：机器的脑子和肉做的脑子，在"聪明的网络长什么样"这个问题上，给出的答案竟然同构。趋同演化这个词，一般用在生物身上，现在可以往硅基那边挪一挪了。

第二条是评测的视角升级。这几年我们看模型，像看一个只能答卷的考生：会做题就是会推理，分数高就是聪明。结构评测给出另一个维度——哪怕模型闷着不答题，它脑内的 SWI、它的社区结构，也在泄露推理能力的成色。行为评测是表现分，结构评测是体检报告，两份对着看，比单看一份踏实。

往远了说，这条思路还能再延伸。如果 SWI 能当推理能力的体征，那它能不能反过来当训练的路标——模型练到哪一步、结构长到哪一格，什么时候该停、哪一步在空转？论文没走到这一步，但路已经露出来了。

当然，边界也要说清楚，不然这篇就成软广了。结构签名目前还只是相关：SWI 高的模型推理强，但"把小世界结构注射进弱模型、能力会不会跟着涨"，论文没有回答。剪枝要先画功能图，画图的计算成本摊到超大模型上怎么收，也是工程上要过的坎。从神经科学借来的尺子量出了新东西，但尺子本身，还在校准。

🧩 三块拼图

到这儿，三部曲可以合上了。

第一篇 MASS，讲自举：同一个模型分饰三角，自己出题、自己阅卷、自己改流程，把改进一轮一轮滚进权重。能力可以从内部自我点燃。

第二篇 AAArena，讲经验：权重一个数不动，AI 靠打比赛、看回放、改代码，从自己的和他人的对局里往外掏本事。能力可以从环境里长出来。

这一篇 Small-World，讲结构：能力不是玄学，它在脑内有形状——注意力头抱成小世界村庄，重要的头深居简出，推理能力的强弱写在网络的聚类和近路上。能力在结构里显形。

自举、经验、结构。三条路看着各走各的，其实是同一个问题的三面：能力从哪里来，怎样度量，怎样使用。2026 年的这张草图上，三块拼图各就各位，中间的空白还很大——那才是接下来几年真正要填的东西。也许再过几年回看，会发现这三篇各自独立的研究，恰好摸到了同一只大象的不同部位：MASS 摸到它怎么发力，AAArena 摸到它怎么学步，Small-World 摸到它的骨架。

神经外科医生合上病历。病人还很年轻，片子拍到的也只是脑内江湖的一角——剩下的广袤区域，还等着下一位拿放大镜的人来读。但无论如何，X 光片已经能读出些东西了。

参考文献

1. Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance. Zheng Huang, Sansheng Cao, Enpei Zhang, Weikang Qiu, Elynn Chen, Xiang Zhang, Yaoqing Yang, Rex Ying, Dawei Zhou, Yujun Yan. Dartmouth College, Yale University, New York University, UNC Charlotte, Virginia Tech. 2026-10-08. arXiv:2610.12304. https://arxiv.org/abs/2610.12304 2. Collective Dynamics of 'Small-World' Networks. Duncan J. Watts, Steven H. Strogatz. Nature, 1998.（小世界网络概念的开山之作） 3. Efficiency and Cost of Economical Brain Functional Networks. Sophie Achard, Ed Bullmore. PLoS Computational Biology, 2007.（人脑功能网络的小世界属性与效率） 4. Are Sixteen Heads Really Better than One? Paul Michel, Omer Levy, Graham Neubig. 2019. arXiv:1905.10650. https://arxiv.org/abs/1905.10650（头重要性估计方法的出处） 5. SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability. Maithra Raghu, Justin Gilmer, Jason Yosinski, Jascha Sohl-Dickstein. 2017. arXiv:1706.05806. https://arxiv.org/abs/1706.05806 6. Fast Unfolding of Communities in Large Networks. Vincent D. Blondel et al. Journal of Statistical Mechanics, 2008.（Louvain 社区检测算法） 7. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot. Elias Frantar, Dan Alistarh. 2023. arXiv:2301.00774. https://arxiv.org/abs/2301.00774 8. A Simple and Effective Pruning Approach for Large Language Models（Wanda）. Mingjie Sun et al. 2023. arXiv:2306.11695. https://arxiv.org/abs/2306.11695

#论文解读 #智柴日报 #能力的自举与结构 #小凯