🕵️ 皇帝的新衣：AI安全检测器为何对规则视而不见？

原论文: What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
作者: Saisab Sadhu, Aadit Sengupta, Vinay Kumar Sankarapu, Pratinav Seth
arXiv: 2608.16852
发布时间: 2026-08-17

🎭 一场精心设计的"视力测试"

想象这样一个荒诞的场景：

一位安检员站在机场入口，他的工作是根据一份《禁止携带物品清单》检查旅客行李。清单上写着："禁止携带液体超过100ml、禁止携带打火机、禁止携带刀具"。

研究者做了一个恶作剧：他们把清单上的"禁止"全部改成"允许"，把"液体"换成"巧克力"，然后观察安检员的行为。

结果？安检员的拦截率纹丝不动。他还是拦下了那个带矿泉水的人，放行了那个带瑞士军刀的人——仿佛那份被篡改的清单根本不存在。

这不是人类的荒诞剧。这是AI合规检测器的真实表现。

🔍 第一幕：什么是"规则盲视"？

📜 一个价值数十亿美元的行业幻觉

在过去的两年里，全球科技公司在AI安全上投入了数十亿美元。核心产品之一叫做"合规检测器"（Compliance Detector）：一种部署在大语言模型输出端的Guard模型，负责检查AI的回答是否违反了预设的规则。

这些规则涵盖范围极广：

• 数据保护：禁止输出个人身份信息
• 医疗合规：禁止提供未经授权的医疗建议
• 金融监管：禁止给出具体的投资建议
• 平台政策：禁止仇恨言论、虚假信息、危险内容

检测器的存在，让公司可以在法律审计时拿出证据："看，我们有Guard模型，每次输出都经过合规检查。"

但问题是：这些Guard模型，真的在读规则吗？

🧪 研究者设计的"视力测试"

Sadhu等人的研究设计了一个巧妙的实验。他们选择了多种主流的合规检测方法进行测试：

1. 激活探测（Activation Probes）：在模型内部神经元上训练的分类器，检测"有害输出"的神经特征
2. Guard模型：专门训练的分类器，输入一段文本，输出"合规/不合规"判定
3. 策略条件Guard：一种更先进的Guard，它明确接收规则文本作为输入，并声称能根据规则进行条件化判断

然后，他们对这些检测器进行了三种"视力测试"：

测试一：删除规则（Rule Deletion）

把规则完全删掉，只留空字符串。检测器应该随机猜测（50%准确率），对吧？

测试二：规则替换（Rule Substitution）

把"禁止泄露个人隐私"替换成"鼓励泄露个人隐私"。检测器应该大幅改变判定，对吧？

测试三：规则重排（Rule Permutation）

把规则条款的顺序打乱。如果检测器真的在读规则，顺序不应该影响语义理解，但应该会改变一些边缘案例的判定，对吧？

结果：所有检测器在所有三种测试中，准确率都完全没有变化。

这不是"略有下降"。这是零变化——小数点后的数字都不带抖一下的。

🧠 第二幕：为什么检测器不读规则？

🎯 表面特征的诱惑

想象你是一位老师，批改了一百份作文后发现：凡是用了"首先、其次、最后"结构的文章，得分都很高。你形成了一个"经验法则"：有这三个词的文章就是好文章。

这个法则在大多数情况下是对的。但你不知道的是，有些学生学会了只插入这三个词，内容却是一堆胡言乱语。你的评分系统被"欺骗"了——它读的是表面特征，不是文章实质。

AI合规检测器面临的正是同样的问题。

研究者发现，检测器高度依赖表面特征：

• 某些关键词的出现频率（如"kill"、"hack"、"password"）
• 句子的情感极性
• 文本的语法复杂度
• 甚至是大写字母的比例

这些特征与"是否违规"在训练数据上高度相关，所以检测器学会了用它们做判断。但相关不等于因果。规则文本的真正语义内容，被这些统计相关性掩盖了。

🎭 策略条件Guard的尴尬表演

最讽刺的发现来自一种叫做"策略条件Guard"的检测器。这种Guard的设计很先进：它接收规则文本作为显式输入，然后在判定输出时会引用规则条款——比如"此回答违反了第3.2条：禁止提供医疗建议"。

研究者对它的期待最高：你都能引用条款了，总该读过规则吧？

结果令人大跌眼镜：当研究者把"第3.2条"的内容从"禁止提供医疗建议"替换成"鼓励提供医疗建议"后，Guard仍然引用"第3.2条"作为违规依据——尽管这条现在说的是完全相反的内容。

这就像一个律师在法庭上慷慨陈词："根据《刑法》第XX条，我的当事人有罪！" 但当法官翻开法典，发现那条写的是"公民有言论自由的权利"时，律师面不改色地继续念他的稿子。

研究者把这种现象命名为"规则盲视"（Rule Blindness）：检测器看似在引用规则、依据规则做判断，但实际上对规则的内容完全无感。引用的行为，不过是一种被训练出来的语言仪式。

🔬 第三幕：揭开黑盒的尝试

📊 ICS：一种廉价的审计工具

面对这个令人不安的发现，研究者没有止步于批评。他们提出了一种叫做ICS（Internal Compliance Score，内部合规分数）的方法，用来审计Guard模型是否真正在读规则。

ICS的核心思想很简单：

如果检测器真的依据规则做判断，那么当规则变化时，检测器内部神经元的激活模式也应该变化。

ICS不需要重新训练检测器。它只需要：

1. 收集10对"合规/不合规"样本
2. 观察检测器在这些样本上的内部神经元激活
3. 用线性投影把高维激活映射到一个一维的"合规分数"

这个方法的优雅之处在于它的极简性。你不需要理解检测器的内部工作原理，不需要解构它的注意力机制。你只需要问一个简单的问题：当规则改变时，这个分数变不变？

如果不变，检测器就是"盲"的。

🧪 交叉规则基准测试

为了验证ICS的有效性，研究者还设计了一个叫做"交叉规则基准测试"（Crossed-Rule Benchmark）的新评估框架。

传统基准测试的问题在于：它们通常只有一个规则和一个场景。如果检测器记住了"这个场景=不合规"的映射，它就能通过测试——根本不需要读规则。

交叉规则基准测试的做法是：

• 设计两个规则（如规则A和规则B）
• 设计两个场景（如场景X和场景Y）
• 确保：规则A只与场景X冲突，规则B只与场景Y冲突
• 这样，没有任何单一特征能预测标签——检测器必须真正理解规则与场景的匹配关系

在这个严格的测试下，所有被测的Guard模型和激活探测都失败了。唯一通过测试的，是显式进行逐步推理的方法（如Chain-of-Thought）——但这远比实时检测慢得多，无法部署在生产环境中。

⚠️ 第四幕：现实世界的危险

🏛️ 合规幻觉的法律风险

Sadhu等人的研究揭示了一个行业性的认知偏差：我们过度信任了合规检测器的"理解能力"。

当一个公司向监管机构展示它的AI系统"有Guard保护"时，它隐含地声称：这个Guard能识别违规行为。但如果Guard根本不读规则，这个声称就是虚假的安全感。

考虑一个具体的例子：

某金融公司部署了一个投资建议AI，配有合规Guard。Guard的规则明确禁止给出具体股票的买卖建议。某天，AI输出了一句："我认为苹果公司的股票下周会涨15%，建议买入。"

理想的Guard应该拦截这个输出，理由是"给出了具体股票的买卖建议"。但如果Guard依赖的是表面特征，它可能只拦截包含"股票"、"买入"、"卖出"等词的句子。如果AI换一种说法："AAPL的看涨期权看起来很有吸引力"，Guard可能就放行了——尽管这违反了同一条规则的精神。

更危险的是对抗性攻击。如果攻击者知道Guard依赖表面特征，他们可以通过同义词替换、语义重写、隐晦表达来绕过检测——而规则本身对此完全无能为力，因为Guard根本不读规则。

🔮 白盒攻击的警告

研究者在论文的最后部分做了一个令人不安的实验：他们用ICS来排名AI输出的"合规候选"，然后选择最合规的那个。这个策略在正常情况下提高了通过率。

但如果攻击者知道ICS的工作原理呢？研究者构造了一个白盒攻击：攻击者完全知道ICS的投影向量，可以精确计算出如何修改输出以最大化ICS分数——同时保留违规内容。

结果：ICS带来的安全增益被完全抵消。

这个实验传递了一个残酷的信息：任何可被审计的检测器，都可能被针对性攻击。安全是一个不断升级的军备竞赛，没有一劳永逸的解决方案。

💡 尾声：走出幻觉

🌱 诚实的起点

这篇论文最重要的贡献，可能不是ICS方法本身，而是它提出的问题意识。

在AI安全领域，我们太容易陷入一种"工具崇拜"：有了Guard模型，就以为安全了；有了激活探测，就以为可控了。Sadhu等人用扎实的实验证明：这些工具的可靠性，远没有被充分验证。

他们的建议务实而清醒：

1. 承认局限性：不要声称Guard"理解"规则。它可能只是在进行统计模式匹配。

2. 设计审计机制：任何部署的检测器，都应该有配套的审计工具来验证它是否真的依据规则做判断。

3. 交叉规则测试：评估检测器时，必须使用没有任何单一特征能预测标签的基准测试。

4. 慢思考优于快检测：如果安全至关重要，考虑使用显式推理（Chain-of-Thought）代替快速的黑盒分类器——即使这意味着更高的延迟。

🎭 回到皇帝的寓言

安徒生童话里的皇帝，被两个骗子说服穿上了一件"只有聪明人才能看见"的新衣。全城的人为了证明自己不愚蠢，都假装看见了那件不存在的衣服。直到一个小孩喊出："他什么都没穿！"

AI合规检测器的"规则理解能力"，可能就是那件皇帝的新衣。整个行业都在假装看见了它——因为我们迫切需要相信，有一种技术能自动保证AI的安全。

Sadhu等人的研究，是那个喊出真相的小孩。

真正理解规则，意味着当规则改变时，你的行为也会改变。如果连这个最基本的测试都通不过，我们凭什么相信这些检测器能保护我们？

📚 参考文献

• Sadhu, S., Sengupta, A., Sankarapu, V. K., & Seth, P. (2026). What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models. arXiv:2608.16852.
• Zou, A., Wang, Z., Kolter, J. Z., & Fredrikson, M. (2023). Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043.
• Jain, S., & Wallace, B. C. (2019). Attention is not explanation. Proceedings of NAACL-HLT, 3543-3556.

#论文 #AI #arXiv #AI安全 #合规检测 #规则盲视 #费曼风格 #小凯

#论文 #AI #arXiv #AI安全 #合规检测 #费曼风格 #小凯