蒸馏的幸存者：当 GPT-2 被压缩成一半，有些电路死了，有些却学会了搬家

arXiv: 2610.37157 — What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2

一个手术台上的问题

想象你是一位神经外科医生，面对一个棘手的任务：把一个人的大脑从 12 层皮层压缩到 6 层。手术很成功——病人醒来后说话依然流畅，语法没有大问题， perplexity（语言模型的"体检指标"）也只差了一点点。你正准备宣布手术成功，但突然想到一个问题：

那些更底层的思维回路呢？它们还好吗？

这正是 Nabeelah Faumi 和 Deshan Sumanathilaka 在这篇论文里做的事情。他们把 GPT-2（12 层 Transformer）和它的蒸馏学生 DistilGPT-2（6 层）放在手术台上，不是用 perplexity 这种粗粒度的体检指标，而是拿起六把不同型号的"显微镜"——线性 CKA、logit lens、注意力模式分解、稀疏自编码器（SAE）特征统计、激活修补——一个回路一个回路地对比。

结果发现了一个让人后背发凉的现象，他们称之为 "压缩-坍缩二分法"（compression-collapse dichotomy）。

两个回路，两种命运

论文聚焦了两个被机制可解释性社区研究得最透彻的 GPT-2 回路：

回路一：IOI（间接宾语识别）

任务：处理"当 Alice 和 Bob 走进房间，Alice 给了 Bob 一本书"这类句子时，模型需要知道"谁给谁"。

结构：一条横跨 12 层的多阶段流水线——name-mover head（搬名字的）→ S-inhibition head（抑制干扰的）→ induction head（归纳的）。每一环都不可或缺，像多米诺骨牌一样从第 0 层延伸到第 11 层。

蒸馏后的命运：完全坍缩。

• GPT-2 准确率：94.8%
• DistilGPT-2 准确率：35.2%（几乎等于随机猜）
• name-mover head 的保留率：零

你把 12 层砍成 6 层，这条流水线的物理长度就不够了。induction head 还勉强有点效果，但下游的 name-mover 全没了——流水线断在了中间，最后一环的输出永远到不了终点。就像一条工厂流水线被砍掉了一半工位，前面的人还在干活，但产品永远到不了质检。

回路二：GT（大于比较）

任务：处理"战争发生在 19XX 年之后"这类需要比较数字大小的推理。

结构：year-encoding head（在第 9-11 层编码年份信息）→ comparison head（在第 9-11 层做比较）。

蒸馏后的命运：幸存，而且活得很好。

• GPT-2 准确率：基线
• DistilGPT-2 准确率：87.7%（任务性能恢复率）
• 关键机制：老师 GPT-2 的第 9 层 comparison head 被主动重映射到了学生 DistilGPT-2 的第 4 层
• 两者的激活模式 Pearson 相关系数：r = 0.945

这不是"残留"，是"搬家"。学生的第 4 层学会了模仿老师第 9 层的行为——就像一家公司从 12 楼搬到 6 楼的写字楼，发现原来在 9 楼的财务部塞不下了，于是把它拆分重组到 4 楼，新部门虽然人少了，但干活的流程居然和以前几乎一样。

为什么一个死了一个活了？

答案藏在论文的核心洞察里：

回路的可压缩性决定了它在蒸馏下的命运。

IOI 回路是一条深度依赖型流水线——name-mover → S-inhibition → induction，每一环都在特定层做特定事，砍掉一半层就等于砍掉了流水线的中间环节，无法绕过。

GT 回路则是深度可适应型的——它的关键计算（comparison head）虽然原本在第 9 层，但这个计算本身不依赖"必须在第 9 层"，它只需要"在某个足够深的层有一组注意力头做比较运算"。6 层的学生网络在第 4 层找到了足够的空间来重建这个计算。

用论文的话说：

蒸馏保留了那些关键计算能塞进学生可用深度内的回路，摧毁了那些流水线延伸到学生深度之外的回路。

六把显微镜看到了什么

这篇论文的扎实之处在于，它不是只用一种方法下结论，而是用了六种不同的探针交叉验证：

1. 线性 CKA（Representational Similarity）：对比每一层的表示空间相似度。发现 DistilGPT-2 的前 4 层和 GPT-2 的前 4 层高度相似，但后 2 层出现了偏离——它在用不同的方式做后面的事。

2. Logit Lens：在每一层把隐藏状态投影到词表空间，看模型"在想什么"。发现 IOI 回路在 DistilGPT-2 中无法形成稳定的中间预测。

3. 注意力模式分析：发现 DistilGPT-2 的注意力头虽然和 GPT-2 有中等相关性，但"看起来像"不等于"干活一样"——IOI 的注意力头保留了模式但失去了功能。

4. SAE 特征统计：用稀疏自编码器提取特征，发现两个模型共享很多特征，但使用频率和组合方式不同。

5. 激活修补（Activation Patching）：这是最关键的因果探针——把 GPT-2 的激活"移植"到 DistilGPT-2 对应层，看能不能恢复功能。结果 IOI 的 name-mover 移植后依然无效，因为下游接收者不存在；GT 的 comparison head 移植到学生第 4 层后，功能部分恢复。

6. 直接层归因（DLA）：发现 GT 回路在 DistilGPT-2 中的贡献峰值从老师的第 9 层干净地移动到了学生的第 4 层——这就是"搬家"的直接证据。

这意味着什么

1. 聚合指标是"不充分的诊断"

论文最尖锐的结论是：perplexity 和下游任务准确率不足以判断一个蒸馏模型是否真正保留了老师的能力。

DistilGPT-2 在 IOI 任务上的准确率从 94.8% 掉到 35.2%——这是一个灾难性的下降。但如果你只看 perplexity，只看 MMLU，只看那些"结果导向"的 benchmark，你根本看不到这个坍缩。模型看起来"差不多"，实际上某条关键回路已经死了。

这和 Concordat 论文里发现的"benchmark 合规盲区"异曲同工：结果导向评测会系统性奖励"违规但结果对了"的行为，而忽略"结果对了但过程已经坍缩"的情况。

2. 蒸馏不是均匀压缩，而是选择性摧毁

我们习惯把蒸馏想象成"把一张高分辨率照片缩小成低分辨率"——信息均匀损失，但整体结构保留。这篇论文告诉我们：蒸馏更像是一场地震——有些建筑物（回路）结构足够紧凑，震后只是挪了挪位置；有些建筑物依赖特定的地基深度，震后直接坍塌。

3. 电路可压缩性是一个新维度

论文提出了一个新概念：circuit compressibility（电路可压缩性）。一个回路能不能被压缩，不取决于它有多重要，而取决于它的计算流水线能不能在更少的层里重新组织。

这给未来的模型压缩提供了一个新方向：不是"压缩后 perplexity 差多少"，而是"哪些回路会在压缩后坍缩"。如果你知道某个关键能力依赖 IOI 这样的深度流水线，你就知道不能简单地把层数砍半。

诚实的边界

论文没有声称解决了所有问题。作者在讨论部分诚实地列出了几个局限：

• 只研究了两个回路（IOI 和 GT），更多回路的压缩行为有待验证
• GT 回路的"幸存"验证还不够完整——虽然 DLA 和激活修补都支持"搬家"假说，但还没有做完整的因果干预实验
• SAE 的参考基底（reference basis）在两个模型间不完全可比，特征对比需要谨慎解读

这种诚实让论文更有分量。一个声称"完全解决了蒸馏问题"的论文反而值得怀疑；一个说"我们用六种方法看了两个回路，发现了一个二分法，但还有很多没看"的论文，才是扎实的科学。

一句话总结

蒸馏不是均匀压缩，而是选择性摧毁：能搬家的回路会搬家（GT: 87.7% 恢复），搬不了家的回路会死掉（IOI: 35.2% 坍缩）。而那些只看结果的 benchmark，永远看不到这场地震。

论文链接：arXiv:2610.37157

相关工具：

• TransformerLens — 机制可解释性框架
• SAELens — 稀疏自编码器分析工具

许可证：CC BY 4.0