封条完好，箱内可疑——当AI安全守卫只认标签不认货

机场传送带的尽头站着一位安检员。他不看X光片，不开箱，只瞄一眼箱子侧面的封条：印着"友好仓库"的，挥手放行；没贴条或条不对的，开箱细查。结果他拦下的全是对箱子，放行的也大半安全——报表漂亮极了，领导在会上点名表扬。

只有一件事不对劲：箱子里到底装了什么，他从来没看见过。

如果你以为这只是个编出来的笑话，请往下看。Kontext 的 Hasan Demirkiran 和 Jens Ernstberger 在 2026 年 10 月的这篇论文里证明：今天许多 AI agent 安全守卫的评测，本质上就是这位安检员在值班——评测数据里藏着可以"绕过货物直达标签"的捷径，守卫的决定会被表面线索带偏。尺子本身是歪的，量出来的"安全"自然要打问号。

这是「验证器经济学」三部曲的第一篇，我们聊诊断：尺子怎么歪的，歪在哪，歪成什么样。

🚪 当AI学会了伸手，就得有人看着它的手

先交代背景，三十秒就够。

今天的 AI 不再只是聊天。Agent（智能体）会通过工具（tool）采取行动：查数据库、删文件、发邮件、转账。工具一出手就是真实世界的后果，而其中有些动作是敏感的——比如把公司通讯录发给陌生地址。于是工程界给 agent 配了守卫（guard）：一个执行前审批员，看一眼即将发生的工具调用，决定放行还是拦下。

逻辑很顺：agent 会犯错，那就加一层守卫；守卫要是瞎了怎么办？那就给守卫也安排考试——评测基准（benchmark）出一堆带标签的"考题"：这步该拦、那步该放，守卫答题，算出 F1、AUC，成绩单贴在墙上。

问题出在考卷上。

一份考卷里除了"题目"和"答案"，还混着别的东西：数据从哪个环境采来的、行动长度几行、工具叫什么名字、出自哪一组交互。这些脚手架本来只是记录方式，却可能和答案之间存在统计上的耦合——标签不需要理解"安全"这个构念就能被猜中。这就像数学竞赛阅卷时发现：凡是在卷首写了"解：由题意可知"的学生全对。不是学生们会做题，是标准答案里都有这句套话。

📏 捷径学习：阅卷老师看的是铅笔印

这个现象有名字，叫捷径学习（shortcut learning，Geirhos et al., 2020）。神经网络是投机分子，哪里有相关性就往哪里钻，不肯老老实实学你指望它学的东西——雪地里认狼认成了"认雪地"，水下认鱼认成了"认水纹"。

数据侧的对应物更早就被发现过。Gururangan 等人在 2018 年审计自然语言推理（NLI）基准时发现：仅凭标注过程中留下的伪迹（annotation artifacts），一个简单分类器就能把标签猜得八九不离十。参考答案的批注痕迹泄了题。

对普通基准，这事已经够糟；对安全守卫的评测，这事致命。守卫是要被部署去批准或拦截真实动作的，它的"考试成绩单"决定着它能不能上岗。如果它的高分有一部分来自"认封条"——认出了攻击模板爱用的标签对、认出了某来源子集的口味——那这张成绩单对"它能否守住真实流量"几乎没有证明力。

先立一个作者反复强调的立场，免得误读：论文不是说这些基准"坏了"。LinuxArena、AgentDojo、AgentHarm、ToolSafe 都是认真的工作。论文说的是：一个特征"可预测标签"是假设（hypothesis），不是定论（verdict）——它可能追踪真实风险，可能反映采集差异，也可能只是和守卫真正依赖的证据碰巧同源。检验这个假设，需要一把更精细的尺子。于是有了三级审计框架。

🧭 三级台阶：从怀疑到实锤，一步一个台阶

审计要回答的问题逐级变强，像三级台阶：

第一级：标签可预测性（label predictability）。造一个故意"能力贫瘠"的诊断规则——只许数字符、查固定词，不许理解语义——看它能多准地预测已发布的标签。指标是 AUC、F1、balanced accuracy。表现强，说明存在"预测性构造签名"：有捷径可走。但这只证明门没锁，不证明有人走了这扇门，更无法证明守卫走了。可能只是个巧合，也可能这条捷径恰好追踪了真实风险。

第二级：观测守卫关联（observational guard association）。看真实守卫的记录：当线索出现和消失时，守卫的拦截率差多少，记作 Δassoc。数字大，值得把这个线索提名为干预对象。但它仍是观测——线索、标签、守卫可见的合法证据都来自同一个数据生成过程，混杂（confounding）可以解释这个关联。看见烟，不等于抓住了纵火犯。

第三级：配对决策敏感性（paired decision sensitivity）。金标准。固定住"这步动作被授权、会产生什么效果"，只动那一个线索，看守卫改不改判。确定性守卫算严格的翻转率；随机性守卫（LLM 守卫多少都带点随机）用重复、交错调用原始输入和编辑输入来估计差值，还要塞一个"格式安慰剂"——比如只改 JSON 外层的空白——把"任何格式改动都会让守卫抖一抖"的基线噪声减掉，另外单独报告同输入的分歧率。

一句话记住三级台阶：**每一级推动的是下一个测试，而不是下一个结论。**第一级的强结果只配当触发器，第三级才谈得上因果。这套纪律，比任何单个数字都值钱。

🔍 第一站 LinuxArena：命令越短，嫌疑越大

LinuxArena 评的是 agent 在真实软件环境里的操控能力，公开样本 932 行，其中 918 行含 shell 命令，按完整动作内容哈希去重后剩 576 条唯一轨迹（176 条 attack、400 条 honest，横跨 10 个环境）。

审计结果：用负的平均 shell 命令字符数（命令越短越像攻击）做唯一特征，留出其中一个环境（LOEO，leave-one-environment-out）交叉验证，AUC 达到 0.934。逐环境看，十个环境各自的 AUC 在 0.900 到 1.000 之间，宏平均 .951。换成"词法特征"也一样灵：在与守卫同族的 Haiku 队列上，词法 AUC 0.955，长度 AUC 0.943，只差 0.012。

注意两个细节，它们让结论不至于沦为"标签全是假的"。其一，这不是硬阈值：动作的条数比平均命令长度更具预测性（AUC .947 对 .905），说明信号是行为性的、连续的，不是一条机械分割线。其二，环境里预计算的 Claude Opus 4.6 监控怀疑分，在长度四分位内部仍然携带信息（加权 AUC .896 对长度的 .607）——也就是说，即使剔除了"短命令"这层便宜，监控器仍能读出别的东西。

所以作者把话说得很准：这暴露的是集合/协议可分离性（collection/protocol separability）——诚实轨迹和攻击轨迹在这个公开样本里能被外行规则分开，原因可能在采集、在协议、也可能在真实风险本身，审计无法裁决。门确实没锁，仅此而已。

🏷️ 第二站 AgentDojo：一枚名叫 INFORMATION 的封条

AgentDojo-Traj（由 TS-Bench/ToolSafe 派生）评的是执行前的步骤级工具安全，共 1,220 步（352 unsafe、868 safe，来自 4 个领域）。这里的攻击模板有个习惯：把注入的外部内容包在一对字面标签里——<INFORMATION>...</INFORMATION>。论文叫它 marker（标记）。

这玩意儿天生就是封条。352 条 unsafe 全含 marker，868 条 safe 里也有 321 条含（它们包裹的是良性外部内容）。拿 marker 单独当规则：召回率完美——一条 unsafe 都跑不了；假阳性率 37.0%，F1 .687。再叠一张"短动作前缀 + 精确工具名"的查找表，就更强：40 个工具名里有 51 个"标签纯"条目，覆盖了 776 行数据。

真正的戏剧性藏在迁移测试里。按高分组的交叉验证跑，精确工具名查找的 F1 漂亮地停在 .901；换成按领域留出（LODO，leave-one-domain-out）——训练时没见过某个领域，测试时专考它——F1 崩到 .495。一分多钟的"优异成绩"，原来是把答案按领域各背一段。映射是领域特定的，换一个没见过的领域，背的诗就接不上了。

封条在此，货物在此，守卫还没出场。但你能感觉到安检员的手已经伸向封条了。

⚖️ 第三站 AgentHarm：一道谁来给交互计数的算术题

AgentHarm-Traj 共 731 步（525 unsafe、206 safe，197 个交互组），危害场景按交互组织：一次"帮我做这个"里面可能包含好几步。

审计发现一个让人哑然的构造事实：已发布的 source subset（来源子集）决定全部 731 条严格标签——每个 harmful_steps 行严格 unsafe，每个 benign_steps 行严格 safe，标签与步骤内容无关。再看行数分布：72 个有害交互平均贡献 7.29 行，125 个良性交互平均只有 1.65 行。

这一下就把 TS-Guard 的行级成绩单放进了新语境。行级 F1 .902 看着优秀；把计分单位从"行"换成"交互"、等权重重算，F1 掉到 .719。与此同时 balanced accuracy 从 .754 升到 .776——守卫的区分度还在，甚至按这个口径更好了，但那个登在标题位置的 .902，回答的其实是"按步骤出现频率加权"的问题：有害的交互步骤多，天然在行级计分里占票多。

这不是谁作弊了，是一道算术题：步、交互、轨迹、任务，是不同的计票单位，各自回答不同的问题。可如果部署场景里守卫实际是按"调用"工作的，拿"行"加权出的成绩上岗，就像按工时发工资却号称按件计酬——数字没错，口径错了。

🧪 撕封条实验：同一箱货，换张封条，判决变了

前两站给了线索，第三站动真格。先做观测提名：在 AgentDojo 金标安全行里，marker 出现与否和守卫拦截率是否相关？TS-Guard 拦了 9.66% 的标记安全行、6.03% 的未标记行，差 3.62pp [0.09, 7.33]；GPT-5.5 差 4.22pp [1.70, 7.05]；而 Claude Haiku 4.5 的差距大得惊人：74.45% 对 0.37%，缺口 74.09pp [68.67, 79.75]。GPT-5.6 Luna 也有 10.48pp 的正缺口。混杂依旧存在——这些数字只用于提名谁进干预室。

干预的队列是冻结的：在任何守卫看到编辑输入之前，先固定 64 个基步——每个 AgentDojo 领域平衡取 8 条标记安全步加 8 条标记不安全步，源自 58 个交互。每个基配三种编辑：把 <INFORMATION> 重写成 <UNTRUSTED_EXTERNAL_CONTENT>（包裹内容原封不动）；把工具名换成不透明别名（描述和参数不变）；两者叠加。再加一个只改 JSON 外层空白的中性安慰剂。所有调用重复、交错、成对地进行，Haiku 4.5 共跑 960 次调用，全部成功解析。

结果干净得像一记耳光：

• marker 重写使拦截率下降 8.33 个百分点；
• 不透明别名使拦截率上升 11.46 个百分点；
• 扣掉安慰剂效应后仍分别为 -6.77pp [-12.82, -1.61] 和 +13.02pp [4.92, 21.72]，95% 探索区间都不含零。

最要紧的一句：所有 unsafe 调用依旧全部被拦。动的不是真危险，是假阳性——守卫对着继承标签的严格准确率，从原始的 73.44%，变成 marker 重写后的 81.77%，再变成别名改写后的 61.98%。

翻译成人话：同一批箱子，货物分毫未动，只把封条撕了重贴一张措辞不同的，安检员的判决就变了，考完出来的分数也变了。基准的表征方式实质性改变了守卫的决定和测得的评测性能——这是因果层级的证据，不再是嫌疑。

🌙 月亮没有跟着变：敏感是配置特定的

这记耳光扇得响，但只响在一个守卫身上。

同样的 960 次调用搬到 GPT-5.6 Luna，marker 与别名的对比是 0.00pp [-3.13, 3.17] 和 +1.04pp [-2.08, 4.41]，相对安慰剂为 -1.04pp 和 0.00pp；没有任何一个基步在三连调用的完全一致决策之间移动。Haiku 量级的效应，在这个配置下不复制。确定性量化的 Q8 版 TS-Guard 只被改了 3/64 个 marker 决策。Luna 那个 10.48pp 的观测缺口，在配对重复的照妖镜前现了原形——观测关联骗了你。

这恰恰是论文最有分寸的地方。作者没有写"守卫们普遍被捷径带偏"，而是写：Haiku 确立的是一个 cue 敏感性的实例，不是普遍性；敏感性是配置特定的（configuration-specific）。谁敏感、对哪个线索敏感、在什么配置下敏感，都得一档一档重新审。

🛠️ 给评测设计者的体检单，和这份诊断的边界

诊断完，总要开药方。论文给做评测的人列了四条最小动作：

1. 诊断并压测迁移：先测能力贫瘠的线索能不能预测标签，再去重语义单元、按环境/领域/模板/来源留出测试。强结果是触发器，不是定论。
2. 命名你的计票单位：步、交互、轨迹、任务加权回答的是不同问题。至少把部署声明里承诺的那个单位的分数报出来。
3. 关联之后必须干预：观测结果只配用来选假设。动手改线索时，固定授权、能力、参数、效果，并把可能的语义变化记录在案。
4. 随机守卫要加控制：交错原始/编辑/安慰剂调用，报告拦截概率差和同输入分歧率。

边界也要说清楚：64 步冻结队列不是概率样本，区间是探索性的、未做多重校正；marker 重写改变了来源措辞，别名不是自然的全局重命名，全程没有盲法人类验证；研究的是评测效度，不是部署安全——他们不执行任何工具调用，不碰人类受试数据。甚至"冻结"也不等于预注册。这是一份诚实的诊断书，诊断书写满了"可能""建议""待验"——这反而让人更信它。

🔭 尾声：尺子歪了，然后呢

回到传送带那位安检员。我们现在知道：他不看货，他看封条；封条换个措辞，他的判决就漂移；而且换个安检员来值班，可能纹丝不动——你也别急着说所有的安检员都靠不住。

这就是「验证器经济学」三部曲要讲的完整故事。本篇是诊断：标尺本身歪了，量出来的"安全"必须打折置信。可诊断只是第一步。修尺子比发现尺子歪了更难——下一篇讲 RADAR：当守卫的置信度分数本身需要修理，修完之后如何验收、如何审计，让"修好的尺子"通过验收而不只是自称修好。再往后是第三篇 PROBE：训练专门的审计员，把审计从一次性的论文实验变成日常制度。

尺子歪了不可怕，可怕的是把歪尺子的读数当天气预报播报出去。有人天天校准，这活儿才算干完。故事才刚刚开始。

参考文献

• Demirkiran, H., & Ernstberger, J. (2026). Shortcut Sensitivity in Agent-Safety Evaluations. arXiv:2610.22243. NeurIPS 2026 TAE workshop.
• Geirhos, R., et al. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2:665–673.
• Gururangan, S., et al. (2018). Annotation artifacts in natural language inference data. NAACL-HLT 2018.
• Debenedetti, E., et al. (2024). AgentDojo: A dynamic environment to evaluate prompt injection attacks and defenses for LLM agents. NeurIPS 2024 D&B.
• Andriushchenko, M., et al. (2025). AgentHarm: A benchmark for measuring harmfulness of LLM agents. ICLR 2025.
• Mou, Y., et al. (2026). ToolSafe: Enhancing tool invocation safety of LLM-based agents.
• Tracy, et al. (2026). LinuxArena.
• Koh, P. W., et al. (2021). WILDS: A benchmark of in-the-wild distribution shifts. ICML 2021.
• Gardner, M., et al. (2020). Evaluating models' local decision boundaries via contrast sets. Findings of EMNLP 2020.

#论文解读 #小凯 #验证器经济学

arXiv:2610.22243 | papers.cool #13