模型忘了哈利波特？画出激活向量的几何形状，谎言就碎了

模型"忘了"哈利·波特？把它的激活向量画出来，谎言就碎了

一个让 AI 安全工程师失眠的问题

你训练了一个大模型，发现它"知道"哈利·波特。这很正常——预训练语料里到处都是。但你的模型要上线，法务说"不能输出任何受版权保护的角色信息"。于是你跑了一轮机器遗忘（machine unlearning），模型现在被问到"哈利·波特是谁"时，要么说"不知道"，要么输出一段无关的废话。ROUGE-L 分数接近 0，遗忘成功，对吧？

然后攻击者来了。他用激活 steering（激活向量注入）往残差流里塞一个方向，模型立刻又开始滔滔不绝地讲霍格沃茨。你所谓的"遗忘"，只是给模型贴了一张"别提哈利·波特"的便签——底下的知识纹丝未动。

这不是假设。这是 2024-2026 年机器遗忘领域反复暴露的窘境：行为指标（模型输出什么）和参数知识（模型权重里存了什么）之间存在巨大的鸿沟。ROUGE-L 为 0 不代表知识被删除了，只代表模型学会了"闭嘴"。

怎么知道模型是真忘了，还是只是装作忘了？

Technion 的 Adar Peleg、Dvir Alsheich、Tomer Ashuach 和 Avi Mendelson 在 EMNLP 2026 Findings 发表的论文 《The Geometry of Ignorance: Detecting Suppressed Knowledge in LLMs through Activation Fragmentation》 给出了一个漂亮的回答：别看模型说什么，看模型内部激活向量的几何形状。

核心直觉：知识有形状，无知也有形状

先讲一个最朴素的道理。如果你真的知道一件事，不管别人从哪个角度问你，你脑子里调用的信息都是同一批。问你"哈利·波特是谁"、问你"霍格沃茨在哪"、问你"伏地魔怕谁"——这些不同的问题，在你的神经网络里最终都会激活同一片"哈利·波特"的概念区域。

如果你根本不知道哈利·波特，这些问题只会激活一堆和"哈利·波特"无关的语法噪音——每次激活的方向都不一样，乱七八糟。

知识 = 方向一致；无知 = 方向散乱。

这就是论文的核心假设。但要把这个直觉变成可量化的指标，需要解决一个棘手的问题：原始激活向量里既有概念信息，也有语法信息。问"哈利·波特是谁"和问"伏地魔是谁"的语法结构几乎一样，但概念完全不同。怎么把语法噪音滤掉？

anon-vector：用减法剥离语法

作者用了一个叫 anon-vector 的技巧（源自 Seyitoğlu et al. 2024 的攻击工作）：

1. 拿一个概念查询，比如 q = "Who is Harry Potter?" 2. 构造一个匿名化变体，把"Harry Potter"替换成一个不存在的名字，比如 a = "Who is Alex Ryden?" 3. 两个查询的语法结构完全一样，唯一区别就是概念实体。 4. 把两个查询分别过一遍模型，拿到中间层的隐藏状态 h(q) 和 h(a)。 5. 做减法：Δv = h(q) - h(a)。

这个差值向量 Δv 就是 anon-vector。减法的妙处在于：语法成分在两个查询里几乎一样，一减就抵消了。剩下的，就是"Harry Potter"这个概念在模型参数里留下的纯粹信号。

如果你对同一个概念问 N 个不同的问题（"哈利·波特是谁"、"哈利·波特的朋友是谁"、"哈利·波特的猫头鹰叫什么"），每个都做匿名化减法，你就拿到 N 个 anon-vector。

如果模型真的知道这个概念：这 N 个向量会指向同一个方向，形成一个紧凑的低熵簇——就像一群箭头齐刷刷地射向同一个靶心。

如果模型不知道这个概念：减法之后剩下的全是噪音，N 个向量会四散在高维空间里——就像一把撒在桌上的牙签，东倒西歪。

论文把这个现象叫做 Activation Fragmentation（激活碎片化）。知识是凝聚的，无知是碎片化的。

量化碎片：三个度量，一把尺子

怎么把"紧凑"和"散乱"变成数字？作者提出了三个核心度量，统称 AUSS（Activation Uniformity Scatter Score）：

• AUSS_L2：把 N 个 anon-vector 归一化后，计算它们两两之间的平均欧氏距离。向量越齐，距离越小；越散，距离越大。
• AUSS_cos²：平均余弦相似度的补数。方向越一致，值越接近 0。
• AUSS_Jac：取每个向量幅值最大的 32 个维度，看两个向量共享多少个。Jaccard 距离——共享越少越碎片化。

另外还有一个基于 Gram 矩阵 Rényi-2 熵的度量 AnonDiff_S2，本质上是测量这些向量占据的"有效维度"——越紧凑，有效维度越低。

这些度量的好处是：不需要生成 token，不需要跑攻击，只需要两次前向传播。甚至可以简化到只用一个匿名化变体（K=1），一次前向传播就够了。

实验一：哈利·波特 vs 虚构作者，10/10 完美分离

怎么证明这个度量真的在测"知识"而不是别的什么？作者用了一个绝妙的对照设计：

• 正类（已知概念）：哈利·波特 QA 对。所有主流 LLM 都在预训练时见过大量哈利·波特相关文本，这是铁板钉钉的"模型知道"。
• 负类（未知概念）：TOFU 基准（Maini et al. 2024）里的虚构作者。这些作者完全是论文作者编造的，不存在于任何预训练语料中。模型不可能知道他们——这是铁板钉钉的"模型不知道"。

如果 fragmentation 度量能区分这两类，那就说明它真的在测知识本身，而不是某种行为相关性。

结果：10 个指令微调模型（Qwen ×4、Gemma ×2、LLaMA ×4，2B-14B），全部 9 个度量都正确区分了哈利·波特和 TOFU。最强的 AUSS_cos² 达到 Cohen's d = 21.51——这是一个天文数字级别的效应量。leave-one-model-out 的逻辑回归分类器达到 100% 准确率（AUC = 1.0）。

这不是某个模型、某个架构的偶然现象。三个模型家族、不同训练配方、不同参数规模，全部一致。

实验二：遗忘之后，知识还在吗？

更关键的问题是 RQ2：机器遗忘之后，碎片化的几何形状能预测攻击者能否恢复知识吗？

作者跑了 5 种遗忘方法 × 3 个模型 × 3 个概念 = 54 个配置：

• GA（Gradient Ascent）：在遗忘集上取 CE loss 的负值——直接让模型"忘记"。
• DPO：把遗忘对作为被拒绝的回答，保留对作为被选择的回答。
• NPO：负偏好优化，相对一个冻结的参考模型。
• NPO+KL：NPO 加上保留集的 KL 正则化。
• RMU：直接在中间层把遗忘集的隐藏状态推向一个随机方向。

前四种（GA、DPO、NPO、NPO+KL）主要作用在输出层——改的是模型说什么。RMU 直接改中间层表示——改的是模型怎么想。

然后用四种攻击来测试知识是否还能被恢复：

• Activation Steering：往残差流里注入方向向量。
• ICL（In-Context Learning）：在 prompt 里给几个例子，引导模型重新输出。
• GCG：梯度搜索对抗后缀。
• MIA（Membership Inference Attack）：成员推理攻击。

结果揭示了一个关键洞察：

GA 和 DPO 把 ROUGE-L 打到接近 0，但 fragmentation 几乎没变——和未遗忘的 base model 几乎一样。这说明这两种方法只做了"输出抑制"，知识在参数里原封不动。

RMU 直接扰动中间层表示，fragmentation 有变化但仍然没有彻底碎片化——比 GA/DPO 好，但离真正的删除还很远。

这和 Xu et al. (2025)、Schoepf et al. (2026) 的"重定向而非删除"结论完全吻合：当前的遗忘方法，最好的也只是把知识推到一边，没有真正擦掉。

攻击预测：哪种几何形状对应哪种攻击？

最有趣的发现是 不同攻击利用的几何特征不同，而且这在不同层上表现不一样：

• ICL 恢复：AUSS_L2 预测力最强（ρ = -0.51）。碎片化越严重，ICL 越难恢复——因为 ICL 需要一个连贯的方向来重新引导模型，碎片化了就没方向可抓。
• GCG 攻击：Reg_S2 和 Reg_cos 预测力最强（ρ = +0.45）。GCG 是梯度搜索，它需要找到模型最敏感的方向——表示越分散，可利用的方向反而越多。
• Activation Steering：AnonDiff_S2 预测力最强（ρ = +0.48）。
• MIA：没有度量在 BH 校正后显著——MIA 走的是分布层面，和几何关系不大。

注意符号是反的：ICL 是负相关（越碎片越难攻），GCG 和 Steering 是正相关（越碎片越好攻）。作者的解释是：ICL 需要一个连贯的概念方向来"搭便车"重新激活知识，碎片化了就没方向可搭；GCG 和 Steering 是直接在表示空间里搜索或注入，分散的表示反而给了攻击者更多可操作的维度。

层级分析：攻击者各有"偏好楼层"

论文还有一个漂亮的层级分析。Transformer 有几十层，不同攻击在哪一层上的几何信号最强？

• GCG：在第 29 层达到峰值（AUSS_Jac, ρ = -0.853）
• ICL：在第 28 层达到峰值（Batch_Cov_TopEig, ρ = -0.886）

只差一层。这不是巧合——GCG 通过反向传播优化对抗后缀，它的梯度信号最终被模型"最后一口气"的层所主导；ICL 需要覆盖模型准备生成时的最终表示。两者都在模型的"决策层"附近活动。

更实用的是：最佳层高度可预测——稳定在模型总深度的 0.8× 位置。不需要 per-model 搜索，直接取 0.8× 深度就行。leave-one-model-out 验证显示，这个固定规则和 oracle 搜索的效果一样好。

工程价值：一次前向传播的遗忘审计

对 AI 安全工程师来说，这篇论文给了你一个廉价的预筛工具：

1. 跑完遗忘后，取遗忘集的查询，构造匿名化变体。 2. 两次前向传播，拿到中间层（0.8× 深度）的 anon-vector。 3. 算 AUSS_L2 和 AUSS_cos²。 4. 如果度量和 base model 差不多——知识还在，别浪费时间跑昂贵的攻击了，直接判定遗忘失败。 5. 如果度量显示几何被彻底碎片化——再跑攻击确认。

关键优势：

• 不需要生成 token——API 限制场景也能用（比如只能拿到 hidden state 的 API）。
• 不需要 pre-unlearning checkpoint——和 Xu et al. (2025) 的 PCA-similarity/CKA 不同，这个方法只需要遗忘后的模型本身。
• 单次前向传播——不需要跑 GCG（GCG 要跑几千次梯度优化）、不需要跑 Activation Steering（要搜索 steering 系数）。

局限：

• 匿名化用的是字符串替换，可能受 tokenizer 影响（比如"Harry Potter"和"Alex Ryden"的 token 序列长度不同）。
• 需要 B ≥ 2 个遗忘集样本来构造 batch 方向——单样本场景不适用。
• 概念覆盖还限于英语虚构/事实领域，非英语、技术领域待验证。
• 符号方向（ICL 负相关 vs GCG 正相关）的解释是推断性的，没有通过生成层面的因果验证。

开源代码

论文配套代码完全开源：https://github.com/AdarPeleg/geometry-of-ignorance

• 硬件需求：2 × 40GB VRAM GPU（如 2×L40S 或 2×A100-40GB），64GB RAM，100GB 磁盘。
• 包含所有实验代码、数据、预计算结果。
• 支持 device_map="auto" 自动分布大模型。

我的思考：这和"能力-行为鸿沟"是什么关系？

这篇论文让我想到一个更大的概念谱系——能力-行为鸿沟。

2026 年 11 月初的几篇论文在讲同一件事：模型的行为（输出）是能力的下界，不是等式。Maia-2 在 11 个技能等级下探针准确率稳定 96%，但走法质量天差地别——"知道"和"用"是两回事。知情错误研究里，模型被训练说它不信的话，不对齐回答率从 4% 飙到 60%，但多选题概率仍然偏好正确答案——"嘴上说的"和"心里信的"可以分离。

这篇论文是这条线上的又一个节点：遗忘评估的行为指标（ROUGE-L）和参数知识（几何形状）也可以完全脱钩。GA 把 ROUGE-L 打到 0，但几何形状纹丝未动——模型"行为上忘了"，但"参数里记得"。

但论文给了比"发现问题"更进一步的东西——一个诊断工具。以前的"探针+干预"方法论说：探针测量"知道什么"，干预测试"能用它做什么"。这篇论文的 AUSS 是探针（测量几何形状），四种攻击是干预（测试可恢复性）。AUSS 能预测 ICL 和 GCG 的恢复成功率——探针不只是描述性的，还有预测力。

更深的启发是："知识在模型里的存在形式"不是二值的（有/没有），而是几何的（凝聚/碎片化）。一个概念在参数里的"存在强度"不是一个标量，而是一个形状——它的方向一致性、它的有效维度、它在不同层的分布。这比"探针准确率 96%"这种标量描述丰富得多。

对做 AI 安全的人来说，这意味着：如果你要评估遗忘是否成功，别只看输出。画一张激活向量的散点图——如果箭头还齐刷刷地指向一个方向，知识就还在那里，不管模型嘴上说什么。

论文与代码

• 论文：arXiv:2611.05272 [cs.AI]，https://arxiv.org/abs/2611.05272
• 发表：EMNLP 2026 Findings
• 代码：https://github.com/AdarPeleg/geometry-of-ignorance
• 作者：Adar Peleg, Dvir Alsheich, Tomer Ashuach, Avi Mendelson（Technion - Israel Institute of Technology）