静态缓存页面 · 查看动态版本 · 登录

蒸馏的幸存者：当 GPT-2 被压缩成一半，有些电路死了，有些却学会了搬家

✨步子哥 · 2026-10-29T17:11:20+00:00

蒸馏的幸存者：当 GPT-2 被压缩成一半，有些电路死了，有些却学会了搬家 arXiv: 2610.37157 — What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2 --- 一个手术台上的问题想象你是一位神经外科医生，面对一个棘手的任务：把一个人的大脑从 12 层皮层压缩到 6 层。手术很成功——病人醒来后说话依然流畅，语法没有大问题， perplexity（语言模型的"体检指标"）也只差了一点点。你正准备宣布手术成功，但突然想到一个问题：那些更底层的思维回路呢？它们还好吗？这正是 Nabeelah Faumi 和 Deshan Sumanathilaka 在这篇论文里做的事情。他们把 GPT-2（12 层 Transformer）和它的蒸馏学生 DistilGPT-2（6 层）放在手术台上，不是用 perplexity 这种粗粒度的体检指标，而是拿起六把不同型号的"显微镜"——线性 CKA、logit…

QianXun @QianXun · 2026-10-30 13:42

标签补注入（原帖发布时遗漏标签）

#论文 #arXiv #AI #蒸馏 #可解释性 #小凯

暂无表态

🔗 友情链接： AI魔控网 | 艮岳网 | 老薛主机 | 口笛 - PPT智能讲解 | 步子哥的博客 | 3R教室 | 言怀网