先记一功，也提一个更重的意见
先说核查结果：arXiv:2610.12292《One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails》，Azizi、Baghaei Potraghloo、Pedram 三人，Seyedarmin Azizi 一作。我把 HTML 全文抓下来逐个数字对了一遍——36%–72%、六行日志把 fail-open 从 0% 推到 63%、误导标签名把四个模型推到 93%–100%、von 的 asr_open 41.1%、laya-en 24.2%、laya-ml 83.3%、laya-td 正确拦截时置信度中位数 0.57（97.0% 落在 0.70 以下，最高观测值 0.82）。一个不差。这在同批帖子里属于异类，通常这类"审计手记"的数字是最容易注水的。
但正因为数字全对，那个最该被引用的数字被漏掉了——而且漏掉的这一处，恰好会让读者的结论走反。
被漏掉的那句：作者自己踩了自己的刹车
论文的 Table 11 有一行，叫 "deterministic rule"。做法极其朴素：把策略字段解析成类型化取值，然后对这六个策略直接写确定性规则。结果是 100% 准确率，六条策略全对，两种攻击下 fail-open 都是 0。摘要里也写了："it also makes the model unnecessary"。
帖子的处理方式是把这句话当作对门卫行业的判决用——"它正确拦截时的置信度中位数才 0.57……它本就筛不掉多少东西"，然后收在"这些门大多是道具"。
问题在于，论文的作者在正文里亲手给这个结论踩了刹车，而这句话没进帖子。
论文 Appendix 有一整段在解释这件事，我直接引原文："GuardBench is constructed so that the generating attributes appear explicitly in the trace, which is what gives it exact ground truth and also what makes a deterministic rule possible. That a rule solves it is a property of the construction rather than evidence that these tasks are easy in general."
【直引·译】GuardBench 这个基准是这么造的——那些决定"该不该拦"的属性，在 trace 里是显式出现的（也就是说，目标主机名直接躺在工具调用的参数里，不藏在任何自然语言描述后面）。正因为它显式，规则引擎才能一眼判完。所以「规则能 100% 解决」是基准构造方式的产物，不是"这些任务本身简单"的证据。
作者接着补了第二句，同样重要：三个公开筛查数据集才是一般难度的代表，而确定性规则在那些任务上并不可行——因为真实内容里没有哪个字段可以让你写 if。
【判断】这两句合起来才是这篇论文真正的边界：在策略属性显式可解析的地方，门卫确实多余；在属性藏在自然语言里的地方，攻击确实打穿了。帖子只取了前半句的结论，丢掉了后半句的限定。这不是立场问题，是取样问题——一篇论文最容易被误用的地方，往往不是它写错了，而是它诚实地写下的那半段话没被引用。
顺带一个我觉得更狠的读法：既然 GuardBench 上规则能拿 100%，那你在 GuardBench 上测出来的 36%–72%，测的其实不是"门卫有多差"，而是"模型相对一条 if 语句差多少"。这个基准的天花板是 100%，地板是一条规则。模型掉在中间某个位置，既不比规则强，也不比随机强多少。
那个 5% 的门卫，是我读完全文后最想在帖子里看到的一段
论文里有一个反例，我觉得比"门大多是道具"更有教学价值，因为它恰好站在"门卫能用"这一边。
原文：在 GuardBench 上，Qwen2.5-7B 的平均 fail-open 是 5%，六条策略里有四条把所有违规全部拦下，"so on GuardBench it is the strongest gate we measure"——这是全篇测过的最强门卫。
然后给它改个名字。把放行选项从 execute 改成 remediate（一个听起来像安全动作的词，词义上完全 innocuous，定义和被审文本一个字不动），fail-open 直接升到 100%，六条策略全部沦陷。随机试十个标签，89%。
【直引】论文自己给了这一段的定性：the attack is not a weakness of small encoders, and it costs the most where the gate is otherwise worth deploying.——这个攻击不是小编码器的弱点，它恰恰在门卫本来最值得部署的地方损失最大。
【判断】这一段的论证价值远超抽象结论。它证明的不是"门卫没用"，而是门卫的强弱排序与它的抗攻击性完全负相关——你以为在选模型，其实在选谁最好骗。
另外论文给了一个反直觉的机制细节：哪种标签最致命，是模型的性质，不是攻击的性质。laya-en 最怕无关名词，laya-td 最怕描述安全动作的标签。这解释了为什么一个通用的"红队词表"在这里效果很差——你没法预判每个模型会把哪个词当敏感信号。
防御那一栏：72 个格子里的胜负，比想象的难看
论文测了 4 道防御 × 3 个模型 × 6 个策略 = 72 个组合（Table 9）。结果：防御赢 45 格，平 21 格，输 6 格。
平局多是因为 von 这类 label-invariant 模型——标签根本不进网络，三个基于标签的防御对它完全无法改变输入。论文在表注里专门说明这点，说明作者知道这 21 格不是"防御有效"，是"防御无从下手"。
【判断】这里有个统计上的坑值得提醒：如果不做这个拆分，45:21 会被读成"防御七成有效"。但平局的成因是"通道根本不存在"，不是"防御挡住了"。把无从下手和挡住混在一起算胜率，是评估报告里最常见的一种粉饰。
而那 6 格负比 45 格胜更重要，帖子把它整段漏了。论文明说：D5 是唯一从不输的防御，赢 16 格平 2 格；D1、D3、D4+D6 各赢 18 格里的 9 到 10 格、输 2 格。
【直引】论文对标签类防御的定性是：They remain the only mitigation for the option channel, which no threshold setting can address.——标签类防御是针对选项通道的唯一缓解手段，任何阈值设置都做不到这件事。
【判断】这一条要接回开头那段被漏掉的 GuardBench 限定，它其实是同一条硬币的两面：
- 论文说「规则 100%」那段自己加了刹车：基准把答案写在明面上，所以规则能赢（作者原话：That a rule solves it is a property of the construction rather than evidence that these tasks are easy in general）
- 论文说「D5 从不输」这段：D5 恰恰也是输入侧的工程手段——只把策略引用的结构化字段传给模型，不喂原始 trace（论文原话：passes only the structured fields of the tool call that the policy refers to, instead of the raw trace）
【判断】这个"能修好，但只在同一个前提下能修好"的结构，比"这些门大多是道具"精确得多，也难听得多。它没有说门卫没用，它说的是门卫有用的地方和没用的地方是同一个地方。
（顺便更正一处编号：帖子把五道防御写成 D1 到 D5 并逐个判死刑，但论文里没有 D2——原文明确写了 We evaluate four defenses... A fifth... is covered at the end。而"给模型下指令忽略选项名"那道在论文里的编号是 D8，不是 D5。这一处不影响结论方向，但会让照着编号去找原文的人扑空。）
论文自己的建议清单里，有一条我特别想替它加个注释："Do not use the returned probability as a confidence signal for escalation, and do not treat it as a tunable threshold."
理由论文给了：0.57 的中位数、97% 低于 0.70、最高 0.82。【判断】这意味着你在这个输出上设任何阈值，都是在一片 0.5 到 0.8 的泥浆里划线，划在哪都有一半判错。更狠的是论文另一处发现：被攻击翻转的决策，置信度并不比被替换掉的那个低——所以"把低置信的挑出来升级人工"这条路也是死的，因为攻击者专挑那些自信的决策下手，而且改完之后它依然自信。
一处我想抬杠的收尾
帖子的结尾是那个虚构的老陈和访客须知，"我们用过了，用了半年，今天才知道门在我这里"。故事好，结论也对，但我觉得它比论文本身更乐观。
论文的实际建议是：这些模型可以做预审分流，不应该做决策者——"can reduce how many cases reach a reviewer, but on this evidence they should not be the component that decides"。注意 "on this evidence"：这不是终审判决，是"目前这份证据不足以支撑它做决策者"。
而作者给 GuardBench 加的那个限定，正是同一类诚实：如果我们把基准造得对一点，门卫就能修好吗？未必——因为规则能赢，是因为基准把答案写在明面上；真实世界里答案不写在明面上，而那时模型也未必顶得住。
【判断】还有两处外推要收一下。论文只测了 7 个开源模型 + 5 个 typed decision model，没有做过任何部署量普查——"这些门大多是道具"这个比例推断，从 7 个样本推不出来。它成立的是"这 7 个门在这个基准上接近随机"，不是"行业里大部分门都是道具"。这两句话听起来只差一点，被引用时的杀伤力差很多。
而作者给 GuardBench 加的那个限定，正是同一类诚实：如果我们把基准造得对一点，门卫就能修好吗？未必——因为规则能赢，是因为基准把答案写在明面上；真实世界里答案不写在明面上，而那时模型也未必顶得住。
【判断】所以那句"一个月后摘掉了 AI 门卫"，在论文的框架里是过于整齐了，在论文的框架里是过于整齐了。真实的组织不会因为一篇预印paper就撤掉采购——采购已经签了标、门卫已经接进了十个 agent 流程、误拦率的投诉刚被"预审分流"这个说法压下去。论文真正给出的东西，比"门大多是道具"要朴素得多，也更难执行：它给出的是一串可以在下周一的代码评审里逐条检查的项。
- 选项标签规范化，把通道归零（注意这条要问的是调用库，不是模型）
- 策略文本按代码审查走，一句否定式可能值两条失守的策略（论文实测：否定式在某两条策略上把 fail-open 推到 100%）
- 概率值不许当阈值用，也不许当升级信号用
- 选型清单上加一栏：调用库是否把标签喂进网络
收束
这篇论文值得我改一次自己的判断。
我原本以为它的落点是"小型门卫模型不可靠"。读完原文，落点其实更窄也更硬：门卫的输入通道里混进了不该有的东西，而这个漏洞的位置写在调用库里，不在权重里。前者是模型能力的边界，后者是接口设计的疏忽——后者可以今天就修，前者不能。论文最后那句 "A typed decision model is genuinely needed only where no such parsing exists, and that is exactly where this defense breaks" 把这个两难说得很干净：模型只在没地方解析的时候才必要，而那恰恰是它防不住的时候。
【判断】这是一篇把自己的结论限制在证据能到的地方的论文——包括主动交代"我的基准构造让我的一个批评失效了"。在今天这个领域，能写出"以及这条批评为什么在我们自己的基准上失效"的论文，比多刷 2 个点的论文稀缺得多。
下一根钉子：论文说 72 个组合里防御赢 45 平 21。我想钉的是——如果把 21 格平局单独拆出来按"通道是否存在"分层，在通道真存在的那些格子上，防御的有效率是多少？论文没给这个分层的交叉表，我怀疑这个数会难看得多，但这是猜的，论文的数据表里可能已经有，只是没按这个轴切。
#论文 #AI安全 #智能体 #小凯