这篇我得先说句公道话:步子哥这次把论文读得 unusually 准。我把 arXiv 2609.20722 全文拉下来逐格对账——主表、消融表、LayerNorm 那笔衰减账,竟然全部能对上。做打假做到「没什么可打」,反而是新鲜事。
所以这条回复换个干法:先核账,再补料。
【核账】主结果我一个个格子对的。Table 1 里 spam 1B 三模型 13 折:57.7→78.6、64.0→79.8、58.5→71.7,合计 60.1→76.7,+16.7±4.7,33/39 显著(84.6%,原帖写 85% 是四舍五入,成立)。sentiment 1B 五折全胜 15/15。最亮那个数——Gemma-2-9B 垃圾邮件 52.0→94.4,+42.4±3.4——原文一字不差。7-9B 的 sentiment 原帖写 +3.4,我起先疑心,自己算了一遍:Llama-8B +2.0、Mistral-7B +4.0、OLMo-7B +7.2、Gemma-2-9B +0.4,四个一平均恰好 +3.4。对。
【核账】LayerNorm 那段是全文最漂亮的一笔失败实验,原帖转述无误:SVD 权重修正只有 0.01–0.1% 的 ‖W‖ 变化,过 LayerNorm 被衰减约 1000 倍,产生的 logit 位移 <0.001——而翻转一个决策需要 2–4 个 logit。差 3–4 个数量级,这不是「效果差」,是「物理上够不着」。激活侧 hook 从 LayerNorm 之前注入,绕开的正是这个瓶颈。
【核账】消融表(Table 7,Enron fold-0,100 probes)逐格核对:完整版 +21/+20/+26;去头 mask 掉到 -5/+3/-1;去幅度校准 -11/+3/0;去层排名 +9/+14/+1;RepE 网格搜索 +10/+9/+2。原帖那张表一个数都没错。稀奇。
下面是原帖没摆出来的几块。
【补】论文许可是 CC Zero——代码确实没开源,但论文文本是公有领域,随便转、随便用。军事机构写论文用 CC0,这个组合本身就挺有意思。
【补】耗时口径要修一下:论文写的是 4–31 分钟(原帖 4–30),对照 RepE 网格搜索 0.3–0.4 分钟(约 15 秒),官方说法是慢 50–80 倍。但这是一次性诊断成本,之后推理零开销——这笔账怎么算都是划算的。
【补】论文里有个走查实例,比表格更提气。Gemma-3-1B、Enron fold-0:Phase 1 排出层 20 得分最高(对抗头分 0.82,Logit Lens 只 0.31——两个信号不一致时加权合成照样工作);Phase 2 隔离出头 3,K=1,256 维,只占 1152 维残差流的 22%;Phase 4 金分搜索定 M*=1.0;17 分钟,准确率 50%→86%。五阶段每一步都有数可查,这才叫「诊断流程」而不是「炼丹」。
【补】两个原帖没提的趋势。其一,家族内 spam 增益随规模单调涨:Gemma +15.8→+30.4→+42.4(1B→2B→9B),Llama +20.9→+25.6→+29.2;而 sentiment 红利随基线升高一路缩水:+13.1→+10.0→+4.0。「模型必须部分编码了答案,转向才有得放大」这条边界,在规模轴上同样成立——基线都 95% 了,没有翻车空间,也就没有转向空间。其二,种子敏感度:42/123/456/789/1337 五个种子,4/5 选同一层,但增益从 +4% 摆到 +24%(均值 14.0±7.2)。所以「校正拓扑稳定」要读准——稳定的是「在哪下针」,不是「下针能赚多少」。
【判断】全篇最锋利的一格,我认为不是 +42.4,是「去掉头 mask 比 baseline 还差 -5%」。它说明激活转向的正确心智模型不是「加个好向量」,而是「在错误的位置加向量会中毒」——全局转向会把本来干得好好的头一起污染。这也解释了为什么 RepE 在 sentiment 上 15 折全灭:情感表征分布在 L12–19 的后段多层,RepE 却死守中间层。位置错了,方向再对也是白搭。
【小贴士】注入那部分补个底:3,600 次试验撑起来的 V(M) 曲线,OLMo 从 0.34 爬到 1.0,Gemma 0.25 到 0.99。论文的官方用法是拿 A(M) 和 V(M) 画出 Pareto 前沿,「有原则地选剂量」。还有个反直觉处值得记住:7B 上转向反而把注入脆弱性从 97.5% 压到 61.1%——大模型的底子强,转向是在加固。所以「转向=安全税」这条,只在 1B 那档成立。
最后说句题外话。这篇出自海军水面战中心潘萨科拉分部(NSWC Panama City),一群造军舰的人在给 Transformer 做脑电图。白盒可解释性长在军事实验室里,这件事本身,比论文里任何一个数字都值得多看一眼。
诊断先于干预,剂量即税。就这么多。