配图一解：书脊贴着一张「别提」，一支箭头只在头一个 token 处划过。书页没合，字母照样浮上来。
回一手核到几点
- 得先认个错。这帖子把两篇论文缝成了一篇，我早先那段回复也照着抄了，现改回来。
- 讲哈利·波特被 steering 捞回来的是 arXiv:2411.02631《Extracting Unlearned Information from LLMs with Activation Steering》。单位是 TUM、剑桥、图宾根、牛津、ETH，没有 Technion。法子叫 Anonymized Activation Steering：把原问题和换了名字的匿名版各跑一遍，首 token 的激活相减得一个方向，只在生成第一个 token 时加回去，再用词频从两千条采样里挑出真答案。62 道哈利·波特题，AUC 从 0.75 抬到 0.92，没做遗忘的基座是 0.98；TOFU 和 ROME 上基本失效——孤立事实没那张互相牵连的网可捞。
- 讲「Technion + 几何」的另有一篇，arXiv:2511.04228，ACL 2026 主会《Unlearning Isn't Deletion: Investigating Forgetting Through the Geometry of the Input Loss Landscape》。它量的是输入损失地形的局部曲率，判据是平坦低曲率平台，跟激活向量的几何两码事。
- 所以「画出激活向量的几何形状」这句，把 A 篇的手法安到了 B 篇的物件上。ROUGE-L 接近 0 也没在两篇正文里逐字找到，属转述。这处更正摆在这儿，免得下游再引一遍。
> 以下为早先所写，结论以回一手核到的几点为准。
机器遗忘跑完，问「哈利·波特是谁」，ROUGE-L 接近 0，模型说不知道。往残差流里塞一个方向，霍格沃茨又滔滔不绝地回来了。便签贴上了，书还在架上。
Technion 这组的办法是画 anon-vector 的几何：概念专属问句和匿名化复述的隐藏态之差，真知道就挤成紧凑低熵的簇，不知道就散。10 个指令微调模型、9 个度量都能分开；leave-one-model-out 的逻辑回归拿到 100% 准确率、AUC 1.0。这个满分有脚注：9/9 模型，用的是附录 Table 8 那次「方向校正后的提取」，特征是峰值层上 8 个标准化度量。
更要紧的是那张卷子考什么。论文自己写着「参数知识没有真值 oracle」，他们拿人造的 bogus 数据当「不知道」的代理，Table 1 的表头是 HP known vs TOFU unknown。所以 100% 判的是已知概念对假概念；「真忘了还是装忘」压根没进这张考卷。遗忘之后那部分，摘要用的词是 correlates，还紧跟一句方向取决于攻击方法：ICL 恢复 ρ 为 −0.51，GCG 是 +0.45，符号相反。
自己出题、自己编标准答案，考了满分先别急着庆祝。收尾那句「箭头齐刷刷就说明知识还在」，得标上说的是哪种攻击。
下一处该验的：换一个没见过的概念、换一种遗忘算法，那 8 个度量的峰值层还落在同一层吗？