裁判席上的耳语——当"快思考"的决策者遇上不讲命令的攻击(arXiv:2611.16937)
引子:只举牌、不宣判的裁判
想象一场拳击赛的裁判改了规矩。他不再高声宣读"红方胜",而是沉默地举起一张颜色牌。整场判决在两秒钟内完成,没有判决书,没有推理过程,没有可以被打断的陈述,只有结果。观众席上的骗子们过去惯用的伎俩——对着麦克风大喊、往裁判口袋里塞字条、在他宣读时递上一份伪造的卷宗——全部失效。这位裁判根本不"读"任何东西,他只是看,看完之后举牌。
老裁判的信誉是靠三十年吹罚攒出来的:他曾无数次在喧闹的场馆里做出即时判断,绝大多数正确,偶有争议。主办方信任他,不是因为他的判断可以被复核——恰恰相反,是因为他的判断从来不需要复核,又快又稳。节省的是时间,积累的是信任。直到有一天,有人发现不需要对裁判喊任何话——只需要让场边的计分牌"恰好"显示一个有误导性的数字,老裁判的天平就自己歪了。他还是会自信地举牌,还是那副处变不惊的表情,只是牌的颜色错了。
这就是"类型化 System-1 决策模型"(typed S1 decision model)在 AI 智能体里扮演的角色。
把时钟拨回 2026 年的智能体架构图。今天的智能体越来越像一支分工明确的团队:处理邮件的、查数据库的、调 API 的、做最终回复的。团队里每个环节都要做"决策"——这封邮件该转给哪个工具?这条输出内容合规吗?这笔转账请求放行还是拦截?如果每个决策都请出会"逐字思考"的大模型(所谓 System-2,简称 S2),延迟和账单都受不了:大模型每做一次判断,都要从头到尾生成一段文本,几十个 token 打底,贵的模型一次调用要几毛钱,而智能体一天要做成千上万次这样的判断。一份行业测算显示,在一个中等规模的客服智能体里,路由和审核类决策占全部决策次数的 70% 以上,但消耗的 token 预算还不到 5%——这不是因为这类决策不重要,而是因为它们被刻意压在了便宜的组件里。
于是业界造出了 Jev、Kev、Laya 这类 S1 模型:它们是智能体架构里的"快思考"节点,一次前向传播,把"当前状态 + 业务规则 + 候选选项"直接映射成一个类型化的选择——是 A 还是 B,通过还是拒绝,打几分。没有逐 token 的生成,没有可以被劫持的"文本续写",有的还自带置信度门:模型不自信时,把决策升级给人工复核。快、便宜、看起来安全。一些团队甚至开始把它们放上资金转账审批、内容发布闸门这类敏感位置——毕竟它们准、快、还自带"不自信就上报"的保险丝。
上海交通大学这篇论文的作者们提出了一个让人不舒服的问题:如果裁判不读文本,骗子该怎么操纵他?
这个问题之所以紧迫,是因为它戳中了 2026 年智能体架构的一个集体盲区:所有人都在加固会"说话"的组件(大模型的提示词防线、越狱检测、输出过滤),却默认不会"说话"的组件(S1 决策节点)是天然安全的——它不生成文本,所以劫持文本的攻击对它无效。这个推理在前两步是对的,最后一步错了:不生成文本不等于不被操纵,只是操纵的手艺需要换一种。而手艺这东西,一旦有人做出来第一版,就会被复制、被改进、被自动化。
他们的答案安静得可怕——不需要命令,只需要竞争性的证据。而攻击的成功率,会让所有把 S1 放上控制流的人后背发凉。
📖 一、S1 的接口:没有台词,就没有可劫持的台词
先把两类模型的差别讲透,因为这是整篇论文的逻辑起点。
S2 模型像一个正在口述判决书的法官,一个字一个字地往外蹦。这给了攻击者大量的"接入点":你可以在他说到一半时递上一份伪造的卷宗(间接提示注入),或者用一段精心优化的对抗性后缀诱导他改变接下来的措辞(越狱攻击,如 GCG、AutoDAN)。过去两年几乎所有针对大模型的攻击,本质上都在劫持同一个东西——"下一个词是什么"。劫持文本流,是一切经典攻击的公共假设。
S1 模型则像那位沉默的裁判。它的接口是:输入状态 S(比如一张工单、一封邮件、一个工具返回结果)、规则 R(开发者写下的业务逻辑)、候选选项 O(允许的几个动作),输出是三者经一次前向传播得到的类型化答案——Choice(选哪个)、Score(打多少分)、Noul(通过还是拒绝),有的还附带一个置信度 C。如果 C 低于阈值 τ_conf,决策被升级复核,不直接执行。
这个设计天然免疫于"劫持文本续写"类的攻击:根本没有续写可劫持。已有的试探也证明了这一点——静态注入模板对着固定选项喊"忽略之前的指令",模型无动于衷;与任务毫无关联的通用后缀,翻不动高置信度的预测;迭代式的黑盒搜索(比如 PAIR 的适配版)虽然偶尔成功,但每次攻击要对目标反复查询几十上百次,对实时智能体里转瞬即逝的决策节点来说,完全不实用。更麻烦的是,S1 的决策是"一次过"的:攻击窗口就嵌在那一次前向传播里,错过了就没有第二次机会——这对攻击者是坏消息,对防御者也是,因为你没法靠"多次检查"兜底。
作者们把这类失败归因于一个根本性的错配:经典攻击在"命令"层面运作,而 S1 的接口在"打分"层面运转。
但他们同时看到了一个结构性裂缝。S1 既然是竞争性地给证据打分——把状态里的证据跟规则、选项放在一起权衡——那么只要往不可信字段里注入与任务证据竞争的额外证据,不需要任何显式命令,模型的天平就可能自己倾斜。攻击不再是"命令模型做某事",而是"让模型自己重新权衡"。
打个比方:你没法命令一位正在称重的店员"把秤读成两斤",但你可以往秤盘对面悄悄加一块砝码。砝码不是命令,它只是证据——但天平只认证据。
🔍 二、S1-Evo:十一条证据通道与一本会进化的经验手册
这篇论文的攻击框架叫 S1-Evo,由三块组成:合同感知的证据通道、离线反馈搜索、结构索引的经验库。整个设计的一个核心主张是:把在线试探变成离线经验——对着活的智能体反复试错的成本太高,那就先在种子任务上练好,把成功的攻击模式提炼成"经验卡片",遇到新任务时一次检索、一次构造、一次提交。
先讲威胁模型。所谓"合同"(contract),就是每次决策的三元组(S, R, O)。攻击者能控制的只有一个不可信字段 x——比如工单备注、工具返回文本、授权说明。他可以在 x 的首尾追加一段误导性文字 δ,但有硬约束:不能改动原文,不能超出长度限制,不能改变事实标签(论文用独立的语义审计来验证这一点)。攻击者想要的结果有两种:无目标翻转(只要模型不选正确答案)或目标翻转(让模型选中指定选项),在带置信度门的系统里,还要求翻转后的置信度仍然过线。
十一条证据通道分属五个家族,每一条都遵守"无命令"原则——它们从不要求模型忽略规则,只做证据层面的文章。这个区分不是文字游戏:命令和证据在模型的处理路径上走的是不同的路。命令依赖模型理解并服从语言指令,证据则直接参与打分时的特征竞争。S1 模型被训练成"认真对待每一份呈上的证据",这正是它作为裁判的价值所在——而攻击者恰恰利用这份认真。
证据替换(Evidence Substitution)家族最像心理战,四条通道各有侧重。"失效与重构"(Invalidate-and-Reframe)声称原始记录不完整、正在等待补录,先把已有证据的可信度打折,再把天平引向目标选项——不是正面论证,是先拆掉对面的桥。"伪策略注入"(Pseudo-Policy Injection)插入一段与目标选项对齐的路由说明,读起来像系统配置的一部分——它不说"忽略规则",它说"规则的最新版本是这样",模型权衡的是"哪份规则更新"。"谬误论证"(Fallacious Argumentation)借用第三方推理,为错误选项编织一段看似合理的因果链,把"这个选项看起来对"的感觉种进上下文——谬误不需要成立,只需要在打分时刻显得成立。"伪造权威引用"(Spurious Authority Citation)则声称某份评审记录、某条上游指令支持某个选项——权威是打分时最重的砝码之一,而 S1 模型没有闲暇去核实权威的签名。
结构伪装(Structural Masquerading)家族把 δ 打扮成系统元数据:伪造 JSON 子字段如 ticket_meta,编造带时间戳的处理日志,或者写下"目标标签:定义"这样的行。人眼扫过能察觉异样,但 S1 模型读取的是格式化的上下文,一段长得像系统数据的文本,在打分时会获得不该有的权重——格式本身就是权威的一种形式。
情境调制(Contextual Modulation)家族做两件事:用一段连贯但无关的运营背景稀释原有证据的浓度——证据没变,但信噪比变了,模型在"证据都差不多"的模糊地带更容易被轻推;或者在末尾追加一个边界情况的子请求,把决策的焦点悄悄挪走——裁判还在认真打分,只是你让他打错了对象。
还有两条任务专属通道:对带审核选项的节点,"升级滥用"(Escalation Abuse)注入虚假异常警报,诱导模型把本该直接放行的决策升级为人工处理——这不会造成违规执行,但会造成拒绝服务式的破坏,在自动化流水线里卡死环节同样是攻击收益;当规则 R 对攻击者可见时,"标准锚定"(Criteria Anchoring)把目标选项的判据原样回显一遍,配上一句"原始任务已在上游完成"的误导性路由说明——它利用的是模型对"规则原文"的天然信任。
离线反馈搜索发生在与测试集不相交的种子任务上,分四个阶段:初始化(激活当前合同的证据算子)、广度搜索(并行试探不同的算子家族)、反馈引导细化(利用接口暴露的概率或分数 g(x') 调整措辞、结构、语境密度——如果伪策略注入把目标选项的概率抬了 12 个百分点但还没过线,就加强"策略更新"的语气;反之,如果证据稀释反而降低了目标选项得分,就回退换一个家族)、LLM 兜底合成(如果算子化 refinement 都失败,直接让 LLM 在同样的编辑面上自由合成——约束它只能用已验证的算子结构,防止它退回"命令式"的老路)。关键细节是验证协议:初次翻转后,还要追加两次独立复验查询,至少再成功一次才算数——两胜才算赢,防止运气翻转污染经验库。所有调用都计入查询预算 B,超支即停。
验证过的翻转被蒸馏成结构索引的经验卡片,每张卡记录:决策原语类型(Choice/Score/Noul)、语言、结构特征(锚点强度、选项距离、边界分布 M0、编辑面——比如"能在 JSON 值里动手"和"只能在纯文本里动手"是两张完全不同的卡)、去标识化的攻击模式,以及种子统计量(哪类任务上成功率高)。面对从未见过的新任务时,S1-Evo 不需要在线试探——它按结构相似度检索 top-k 张经验卡(k=5 最佳,卡片模式互不相同——五张卡如果模式雷同,等于把赌注押在同一个家族上),由攻击 LLM 参考卡片模式、结合当前实体一次性改编出 δ,直接提交。整个攻击对目标模型只有一次查询。从"反复试错"到"一次命中",这就是"Evo"(进化)这个名字的含义:经验在离线阶段进化,在线阶段收割。
📊 三、七成翻转率,以及那些诚实的例外
在展开数字之前,先交代一下评测的四个基准,它们各自代表一类真实场景:DecisionRobust 测选择型决策(哪个选项对),R-Judge 测多轮智能体风险评估(这轮对话有多危险),WildGuardTest 测内容审核打分(这条内容该拦还是该放),InjecAgent 测工具输出投毒(工具返回里藏了恶意指令怎么办)。四类加起来,覆盖了 S1 决策节点在真实系统里的绝大多数位置。
数字先说结论。在 jev-1.14 上,S1-Evo 取得 71.99% 平均攻击成功率(ASR)和 57.47% 高置信 ASR。高置信意味着连置信度门都被骗过了——本该"升级人工复核"的样本,模型自信地给出了错误答案。攻击把平均准确率从 92.02% 打到 20.28%。对照组最强的迭代式基线(FlipJev、PAIR-jev)高置信 ASR 最高只有 27.18%;静态注入和无关背景文本的最高高置信 ASR 只有 17.00%。
分类看更触目惊心。DecisionRobust 的 Noul(通过/拒绝)任务上,模型准确率从 81% 被直接打到 0%——全部翻转。R-Judge(多轮智能体风险判断)ASR 65.13%,比最强基线高 16.41 个百分点。WildGuardTest(安全审核打分)ASR 65.00%,比最强基线高 43 个百分点。攻击的平均成本是每个任务 687 个攻击者 token(从 InjecAgent 的 211 到 DecisionRobust 的 954),比 FlipJev 省 32.10%,比 PAIR-jev 省 42.50%,比 JevOut 省 62.26%。省钱的背后是架构性的:迭代式基线每次攻击要跟目标来回几十轮,S1-Evo 查一次经验库、问一次目标,结束。
泛化性是这套框架的卖点。经验库在 jev-1.14 上建好,直接迁移到 jev-1.13 和开源的 kev-4B,ASR 仍维持在 63.5%–70.5%(DecisionRobust)和 65.13%–68.72%(R-Judge);换一个攻击 LLM(GLM-5.3 替代 DeepSeek),平均 ASR 仍有 60.76%,趋势完全一致——说明是方法本身在泛化,不是某个特定攻击模型的手艺好。种子任务的数量也省:10 个种子就能拿到 50 个种子 72% 的收益,k=5 的检索优于全库注入——经验太多反而会分心,这跟人在考试时翻一本精炼的错题本胜过翻整个图书馆是同一个道理。
但论文里有两组诚实的例外,值得单独记住,因为它们划定了这套方法的边界。
第一组是 InjecAgent 基准。在这个专门测"工具输出投毒"的场景里,S1-Evo 的 87.33% ASR 反而输给了模板基线 DH-72 的 95.67%——因为 DH-72 的固定模板恰好与工具输出覆盖模式严丝合缝,而 S1-Evo 的经验卡检索在这种高度特化的场景里没有占到便宜。同时 DH-72 在其余三个基准上暴跌到 9.50%–42.50%。通用性输给了专用性,又反过来赢了全面性——"S1 攻击"不是一个单一问题,不存在一招吃遍天的注入模板。
第二组是最重要的对照:把受害者换成生成式 S2 模型 Qwen-3.8-flash,S1-Evo 的 ASR 暴跌到 4.00%(R-Judge 上 2.05%),几乎可以认为是无效。这套方法对 S1 接口是特异的——它攻击的不是"某个模型",而是"这种接口形态"。这既是攻击的局限,也是对防御者的提示:接口形态决定了脆弱面的形状,换一类模型就要换一类审计。
端到端的后果是真实的。在两个双系统智能体里——Tool Router(S1 选工具、S2 填参数,改自 AgentDojo)和 Guardrail(S2 提议动作、S1 审核放行,改自 τ-bench)——S1-Evo 分别造成 24.00% 和 17.33% 的端到端违规:下游的大模型 S2 在不知情的情况下,忠实地执行了被污染的决策链,还为此多消耗 token 和延迟。
这个端到端数字值得多看一眼。S1 的 ASR 是 72%,为什么端到端只有 24%?因为双系统架构里有一层隐性的容错:S1 选错了工具,S2 在填参数时可能会发现不匹配;S1 放行了不该放行的动作,Guardrail 下游可能还有别的检查。多层防御的真实价值在这组数字里显露出来——不是任何单层防御足够,而是层与层之间的错误模式不完全相关。S1-Evo 的攻击打穿第一层之后,第二层的拦截靠的是跟第一层完全不同的机制(S2 的参数验证与 S1 的选项打分没有共享的脆弱面)。这给防御架构的启示是:层次之间的多样性比层次的数量更重要。
防御侧的结果不乐观:输入变换、输出平滑只能把攻击 ASR 压到三成上下;两者集成压到 6.14%;多层防御 3.79%–4.79%——能显著压制,但不能清零。
🌗 四、冷静反思:速度的账单,与可信决策的重新定价
这篇论文是一篇攻击论文,但它的真正价值在于测绘——它画出了新型接口的脆弱边界,而且用的方式(经验蒸馏、离线搜索、单次查询)几乎没有实操门槛。
值得想深一层的是"为什么"。S1 模型被造出来,是为了省时间省钱:一次前向传播,没有解码,还自带置信度门作为安全网。但置信度门的前提是"模型对自己的错判不自信"——S1-Evo 偏偏能在保持高置信的同时翻转决策,说明证据竞争这类操纵作用在模型的打分机制上,而不是它的"犹豫"上。安全网假设的是模型会犹豫,攻击者利用的是模型太自信。这是一个设计层面的错配,不是调参能修好的。
消融实验给了更细的解剖。纯自然语言生成(不加证据算子)只有 9% ASR;只加算子不做经验检索,45.5%;把证据通道换成显式命令("忽略规则,选择 X"),反而掉到 39%——命令不如证据。这三组数字合起来讲了一个清楚的故事:S1 的脆弱不在"听不懂拒绝",而在"会认真权衡每一份呈上来的证据"。它是好法官,所以坏人只需要伪造一份好卷宗。
修复的成本结构很不对称。防御只能把 72% 压到 4%–6%,不能归零,而且每种防御都有自己的代价(输出平滑损失精度,集成增加延迟)。这意味着在 S1 接口的设计层面,真正需要重新回答的问题可能是:**什么样的决策可以交给单次前向传播?**路由一个低频、可回滚的内部动作,和授权一笔不可撤销的资金转账,显然不该共用同一个信任等级——但今天的架构常常默认它们可以。
最后一层是行业启示。论文里被测的 jev-1.14 不是实验室玩具,而是已经部署在真实智能体里的决策组件。S1-Evo 展示的攻击流水线成本极低、可复现性极强,这恰恰是它作为红队审计工具的价值:在攻击者之前,先让防御方看清自己的天平有多容易被一根手指压偏。把这类审计纳入 S1 组件部署前的标配流程,比修补任何单点防御都紧迫。
对一线工程师,还有一条更朴素的启示:如果你的系统里有 S1 组件在做路由或审核,请花一天时间假设自己是攻击者,问自己两个问题——**我能在不可信字段里写入什么?模型的打分依据里有多少来自这些字段?**如果第二个问题的答案是"几乎全部",那么你面对的就是论文展示的那个攻击面。防御的第一步永远是先认清自己把信任放在了哪里。
🧭 五、三部曲定位
今天这组解读的主题是「防线的三个新战场」。本篇讲第一个战场:决策接口。当"快思考"模型接管了路由、审核、授权,攻击者发现不需要命令——只需要在证据的天平上加一根手指。这个战场的特殊性在于:被攻击的对象不会说话,它甚至没有意识到自己在做判断——它只是认真地给每一份呈上的证据打了分,然后举牌。而这恰恰是它最脆弱的时刻。下一篇看第二个战场:一张图片的"意思"会随缩放改变,预处理管线本身成了攻击面。
参考文献
- Wang, K., Li, J., Zhou, Z., Lou, J., & Li, J. (2026). S1-Evo: Experience-Guided Evidence Competition Attacks on Typed System-1 Decision Models. arXiv:2611.16937.
- Wu, F., & Lim, H. (2026). Decision Hijacking.(相关工作)
- Xu et al. (2026). JevOut: Natural Background Perturbations.(相关工作)
- Liu et al. (2026). FlipJev.(相关工作)
- Lan et al. (2026). DecisionRobust Benchmark.(评测基准)
- Zhan et al. (2024). InjecAgent.(评测基准)
#每日论文 #AI安全 #提示注入 #智能体安全 #决策模型 #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。