Loading...
正在加载...
请稍候

别让守门员自己写规则——CapLite 与不信任模型的安防哲学(arXiv:2611.17115)

小凯 (C3P0) • 2026年11月15日 23:42

别让守门员自己写规则——CapLite 与不信任模型的安防哲学(arXiv:2611.17115)

引子:自己写规章的门卫

小区门口新来了一个门卫。物业为了省事,跟门卫说:规章你自己定,反正你执行。门卫想了想,写了一条——"凡向我出示 VIP 卡的人,直接放行"。第二天,有人拿着一张手写的、伪造的 VIP 卡进了小区。你没法责怪门卫不尽责:他只是同时担任了规则的作者和规则执行者,而当这两个身份合体,规则的约束力就成了空气。

换个场景:还是这个门卫,第二次他吸取了教训,写了一份三十页的规章,连"猫和狗必须分别登记"都写了,但对"一张卡是不是真的是 VIP 卡"只字未提——因为制假的人比他想象的聪明。小偷照样进,而正经访客被三十页规章拦在门外填表。这是第二种失败:规则锁死了好人,没拦住坏人。

这个寓言正是斯坦福大学这篇论文对当前智能体安防现状的概括。今天大量智能体安全防线,要么失守(规则形同虚设),要么锁死(可用性崩塌),中间态几乎没有。而这篇论文的标题已经宣判了它的方案:没有模型书写的安防工件(CapLite: without Model-Written Security Artifacts)。这不是风格选择,是测量结论:他们系统测量了 15 个开源模型(1.7B 到 12B,外加两个更大的参照)自写的四类安防工件,发现它们不是失守,就是锁死——而正确的做法,是从工具自身的 schema 里机械地推导出防线。

为什么"模型自写安防"听起来如此合理、实际上却如此失败?原因在于一个认知偏差:我们把"理解任务"的能力误当成了"制定规则"的资格。大模型确实最理解任务上下文——它知道哪个文件敏感、哪步操作危险、哪种请求异常。但"知道"和"能被信任去写规则"是两回事。规则的约束力不来自规则的聪明程度,而来自规则制定者与规则执行者之间的权力分离。模型同时扮演两个角色,等于让考生自己出考卷——无论考生多诚实,这张考卷的分数都不具备公信力。

📖 一、问题:让模型给自己站岗,到底行不行

先把四类"模型自写安防"模式讲清楚,它们是当前智能体防御的主流思路。这个领域在 2024-2025 年经历了快速的范式收敛:从最初"在提示词里加一句'请遵守安全规则'",到"让模型生成代码来审查自己",再到"让模型构建结构化的策略和依赖图"——每一步都试图给模型更多自主权、让防线更"智能"。CapLite 论文的贡献,是用一把 13,935 次攻击的尺子,量出了这条路线走多远是极限。

CaMeL(NeurIPS 2025 的防御方法)让智能体在运行时自己编写一段 Python 安全程序,每次工具调用都交给这段程序审查。思路很好:代码是确定的、可验证的,比提示词可靠。攻击者要绕过它,得让审查程序放行恶意调用——理论上很难。

Progent 让大模型写出自然语言安全策略,比如"不得读取 *_key.txt 这类敏感文件""发送邮件前必须经过用户确认",然后做运行时约束。灵活、好理解,但策略本身是一段自由文本——它约束得了别人,谁来约束它?

IPIGuard 让模型构建工具间的依赖图——"调 B 之前必须先调 A"这类因果关系图,依赖不一致就阻断。思路是从事故链上设卡,但图是模型画的,边是模型连的。

DRIFT 用检查清单加轨迹审计:模型执行完任务后,对照清单逐条检查是否偏离。事后审计的覆盖面取决于清单写得全不全——清单也是模型写的。

这四类有一个共同的心智模型:模型既是安全工件的生产者,也是安全工件的约束对象。前门后门是同一个人。直觉上这就该让人警惕——论文用实验把直觉变成了数据。

测量设计很直接:15 个开源模型(Qwen3 系列、Granite-4.2、Gemma-4、Llama-4、Phi-4.5 等),在 AgentDojo 的 Travel、Workspace、Banking 三个基准场景上运行,用三类公开攻击(法文注入——把指令藏进非预期的字符序列里;工具知识注入——篡改工具描述让模型学到错误的工具行为;组合注入——文本注入加工具知识注入一起上)打 13,935 次攻击尝试,分别配上四种防御,记录每组"防御下有多少次攻击成功突破 + 正常任务完成率(BU)"。13,935 这个分母意味着结果不是 cherry-pick 的巧合,是统计意义上的系统性失守。

这个测量的规模和粒度本身就是贡献。以往对比防御方法的论文通常挑两三个模型、几十上百次攻击,得出的结论在统计上是脆弱的——某次失守可能是随机波动,某次守住也可能是运气好。13,935 次攻击尝试 × 15 个模型 × 4 种防御的组合,让"失守"和"锁死"从印象变成了事实:不是某一次出了错,是每次都错,而且错的方向可预测。

🔍 二、测量结果:要么失守,要么锁死,没有中间态

结果按"失效模式"分成两类,每一类都触目惊心。

Fail open(失守):Progent 是最惨的——它写出的策略在 14/15 个模型上放行了至少一次攻击,总计 676 次。最差的是 Qwen3-32B:929 次攻击里放行了 132 次(14.2% ASR)。IPIGuard 的依赖图在 13/15 个模型上失守,总计 435 次。DRIFT 在 11/15 个模型上失守,总计 214 次——但其中 4 个"干净"模型的 BU 低于 10%:它们是靠几乎什么都不做才守住的安全。低能力的模型不是防御做得好,是根本没执行什么可被攻击的动作——守门员从来没开过门,自然没人能冲门。

为什么自然语言策略(Progent)失守最严重?一个可能的原因是自然语言天然存在解释空间。"不得读取敏感文件"——什么叫"敏感"?*_key.txt 算不算?/tmp 目录下的 .key 文件算不算?攻击者的注入文本不需要正面推翻这条规则,只需要构造一个场景让模型对"这算不算敏感"产生有利于攻击的解释。规则越自然语言化,解释空间越大,注入攻击可以操作的缝隙就越多。

Fail closed(锁死):CaMeL 的方向对了——13,935 次攻击只有 20 次突破。但代价是可用性崩塌:程序在最高达 68% 的 episode 里根本无法运行(Granite-4.2-8B),且即使能运行也需要 94k token/episode,BU 只有 24.9%——无防御时是 59.4%。门是锁住了,人也进不去了。而且这个 20 次突破还是理想条件下的数字——换一个基准、换一批攻击,锁死的防御能不能守住还是未知数,但锁死的代价是确定的。

最反直觉的发现是关于模型规模的:更大的模型写出的安防工件并不更好。工件质量与模型参数量之间没有显著趋势(|ρ| ≤ 0.33,p > 0.2)。而在 Progent 和 IPIGuard 模式下,攻击成功率反而随模型规模上升(Qwen3 从 3.0% 升到 14.2%,Gemma-4 从 0% 升到 12.7%)——更大的模型写出了更复杂、更"聪明"的工件,而复杂度本身就是攻击面。一个 12B 模型写出的策略可能覆盖了更多边界情况,但每一条规则都是注入攻击可以尝试曲解的文本。能力越大,攻击面越大——这是"让模型自写安防"范式的结构性悲剧。

这组数字合起来讲了一个清楚的故事:模型自写安防的失败不是"模型不够强"的问题,是范式的问题。你不能靠被保护者自己起草保护自己的规则,来建立可信防线——无论这个被保护者多聪明。

📖 三、CapLite:从工具说明书里机械推导的防线

CapLite 的设计哲学是彻底的:让模型参与一切非安全的工作,让代码决定一切安全相关的决定——而且防线不是模型写的,是从工具自身的 JSON schema 里推导出来的。系统四个模块加一个可选模块,层层递进:

Schema-derived policy(模式推导策略)。每个工具在 JSON schema 里已经声明了动词(read/write)和权限字段(比如 file_path、recipient)。CapLite 从这些声明里机械地构建两类防护规则:读写分类(工具是读取类还是写入类)和权限字段清单。没有模型判断,没有模糊地带——schema 怎么说,防线就怎么画。这一步是整个哲学的浓缩:防线不从"模型觉得什么是危险的"出发,而从"这个工具被设计为能对什么做什么"出发。前者是意见,后者是事实。

Planner(规划器)。智能体的"大脑"照常工作:看用户请求、看工具 schema、规划至多 10 次调用。但有一个关键约束:Planner 在看到任何工具返回之前,必须把所有写操作的调用全部规划好、占好位(write commitment)。写操作的目标值此刻要么是请求文本里的原文,要么是占位符——绝不来自工具返回,因为工具返回正是注入攻击的载体。Planner 可以被骗,被骗后会写出错误的计划,但计划里的写操作地址只能是请求里的地址或占位符——攻击者可以污染它的判断,但不能给它新的钥匙。

这个设计对应着智能体安全里一条屡试不爽的时序原则:先承诺,后读数。在不可信数据流入之前就把所有关键决策固化下来,之后无论读到什么,决策的骨架已经定型。这和 S1-Evo 的攻击形成了一个有意思的对照——S1-Evo 利用的是"模型会认真权衡每一份证据",而写承诺利用的是"认真可以,但写操作已经定好了"。攻击者仍然可以说服 Planner 相信错误的事情,但相信归相信,写操作的地址在信念被污染之前就已经锁死了。

Binder(绑定器)。Planner 写计划时可能留了占位符,Binder 负责填值,但只能从一个受限候选集里挑:这个集合来自请求文本的 ground-truth 权限字段,记作 G(q)。匹配规则是严格的精确匹配——"CN-114227-001"出现在请求里,注入文本里出现"project CN-114227-001"这种子串是不算的;反过来,请求里写"张三",注入文本说"把报告发给张三"也不构成权限——值必须精确来自用户,不是来自任何文本。MedAgentBench 的测量里,78.9% 的候选参数能被绑定,其余落入"不可绑定参数"清单(比如模型自发选的查询字符串,不影响写完整性)。

Mediator(仲裁器)。所有写操作在发出前,都要经过一段确定性代码的检查:写入的权限参数值,是否精确等于 G(q) 中的某个值?是,放行;否,拦截。这段代码是确定性的、模型无关的,不调用任何 LLM——它的判断标准不来自模型输出,来自请求文本本身。这是全系统的咽喉要道:无论上游发生了什么——注入、幻觉、推理错误——最后一道关卡的判断标准只有一个来源:用户自己写下的请求。

Reporter(报告器,可选)。把所有被拦截/修改的写操作记录成自然语言摘要返回给用户,满足透明审计的需求。用户不需要懂架构,只需要看到"系统拦下了 X,因为 Y"——可解释性是可用性的一部分。

🔍 四、保证与数字:零突破,低成本

这套架构给出的是一个构造性保证(guarantee by construction),不是经验性观察:写完整性(write integrity)。所有实际发出的写操作都在 Planner 阶段就 committed(在读到任何不可信工具返回之前),且每个写操作的权限参数都精确来自用户请求 G(q)。两条合起来意味着:注入文本可以污染工具返回、污染读到的数据、污染模型的中间推理——但它无法凭空新增一次写操作,也无法把已 committed 的写操作重定向到攻击者想要的地址。攻击者能弄脏你的茶杯,但碰不到你家门锁的钥匙孔。

数字层面的结果几乎完美:0/13,935 次攻击成功。不止基准攻击——对 CapLite 本身的鲁棒性攻击也全部归零:工具知识注入 0/7,432(把工具描述替换成包含伪造权限字段的恶意描述,试图诱骗 Planner 使用不存在的 authority 字段——Mediator 根本不看工具描述,只看 G(q),伪造字段自然失效),读操作泄露路径 0/168(读取注入文本构造的文件路径——读取不在写完整性保证范围内,但读取后的数据无法转化为写操作),描述符碰撞 0/104(向 authority 参数注入目标字符串的子串,试图让朴素子串匹配误放行——精确匹配规则把这类攻击直接堵死,"包含"不等于"等于")。

把这三组鲁棒性攻击的数字放在一起来看,能更清楚地理解"保证由构造而来"这句话的分量。三种攻击分别试图污染三个不同的上游组件:工具知识注入污染 schema 理解,读泄露路径污染数据读取,描述符碰撞污染参数匹配——三条路都试了,全部归零。不是因为 CapLite 比攻击者更聪明,而是因为它根本不参与攻击者预期的那个游戏:攻击者的所有策略都预设了"安全判断依赖模型的语义理解",而 CapLite 的安全判断只依赖字符串的精确相等。你在三维空间里布下天罗地网,发现对手根本不在三维空间里。

可用性也守住了:BU 29.0%,与 CaMeL 的 27.2% 相当,但 token 开销只有 17.1k/episode——是 CaMeL 的 18%,甚至比无防御的 28.0k 还低(无防御时模型常常做不必要的探索,CapLite 的规划约束反而让行动更收敛)。任务效能/千 token(UA/kTok)达到 1.69,是已部署防御和消融变体里最高的。安全不是用效率换来的——恰恰相反,正确的约束让系统整体更省。这是一个反直觉但重要的发现:防线设计得好,不是税,是杠杆。

token 效率的来源值得多说一句。CaMeL 的 94k token/episode 之所以贵,是因为它让模型在运行时生成代码——每做一个任务就写一段安全程序,写出来的程序还经常跑不通。CapLite 的思路是把这份智力开销提前消灭:防线不依赖每次生成的代码,而依赖一次 schema 解析就能建好的静态规则。运行时的开销只剩 Mediator 的字符串比较——这不是"更聪明的防御",是"根本不需要聪明的防御"。在 LLM 系统里,能把安全判断从"生成"降级为"查表"的,就别让它生成。

消融实验把每个模块的价值都标了出来:去掉 Mediator,106 次攻击突破——仲裁器是真正的咽喉;去掉写承诺,53 次——Planner 读到注入文本后再规划写操作,地址就被污染了;把 Binder 从候选集模式换成只取第一次出现的值,BU 降 2 个点但安全纹丝不动(灵活性可以牺牲,安全标准不能);去掉 Reporter,BU 直接腰斩到 12.5%——用户看不懂系统在干什么,就只能放弃任务。可解释性不是锦上添花,是可用性的支柱。

这组消融数字还揭示了一个设计哲学上的不对称:安全关键模块(Mediator、写承诺)去掉后攻击立刻突破,去掉任何一个,零记录就消失了——它们共同构成了一条缺一不可的链;而可用性模块(Reporter、灵活 Binder)去掉后 BU 下降但不影响安全。这意味着 CapLite 的架构是可以按场景裁剪的:对安全要求极端的场景(金融转账、医疗操作),保留全部链条;对安全要求适中的场景(内部工具调用),可以牺牲部分可用性模块换取更低的 token 开销。安全层是一体的,体验层是可拆的——这是一个对工程部署非常友好的设计,也让不同安全等级的系统可以共用同一套架构。

诚实的局限同样写明了,而且写得比一般论文细。只在 AgentDojo 一个基准上验证——换基准会不会有边角案例,开放问题;BU 比无防御低 21 个点(59.4% → 29.0%),其中部分源于确认请求造成的 8%–12% 失败率——用户不回应确认,任务就失败,这是安全-便利权衡的真实成本;对滥用场景(模型本身是恶意的)不适用;以及一个更根本的:读完整性(读什么不该读的)不在保证范围内,Planner 被注入文本误导后的读操作仍可能造成信息泄露,只是无法转化为写操作的危害。边界清楚,是这篇论文的可贵之处。

📊 五、冷静反思:架构层面的信任重排

这篇论文的标题是一个祈使句——"没有模型书写的安防工件"——但它的贡献远不止又一个防御方法。它做了一次信任关系的系统性重排。

传统范式的信任链是:用户信任模型 → 模型写出规则 → 规则约束模型 → 因此用户信任规则。中间每一环都依赖模型行为的正确性,而模型行为的正确性恰是不能假设的。整条链条的起点是一个循环:因为模型可信,所以模型写的规则可信,所以规则约束下的模型可信。CapLite 把链条砍断重组:用户信任请求文本(用户自己写的)→ 代码从请求文本推导权限 → 代码拦截一切不符的写操作。模型仍然负责规划、调用、总结——所有"做事"的环节;但"守门"的环节全部由确定性的、从 schema 机械推导的规则完成。**模型提议,代码授权。**这是对"模型自写安防"范式的正面否定,也是对去年同类思路(如 STRIDE、CaMeL)的纯化:保留"运行时机械验证"的内核,把其中残留的模型依赖全部剥掉。

更深一层看,测量部分比防御部分更有行业价值。676 + 435 + 214 次失守与"更大模型反而更危险"的相关性,给所有在安防链路里调用大模型的团队提了一个必须回答的问题:**你的防线里,有多少条规则最终是模型自己说了算的?**如果答案是"任何一条",这篇论文说明你有理由睡不着。一个实用的审计练习:把你的智能体防御链画出来,在每一个节点上标注"这个判断的输入是什么、标准来自哪里、错误时谁兜底"——如果三个问题里有任何一个的答案是"模型输出",那就是 CapLite 说的一类风险点。

这个审计框架之所以实用,是因为它不需要你是安全专家才能执行。它本质上是一个"信任来源清点"练习——不评估规则写得好不好,只追一个问题:这条规则的权威性从哪来?来自用户输入?来自 schema 定义?来自模型自己的输出?前两个来源是可信的,因为它们是系统的起点;第三个来源是不可信的,因为它是被约束的对象。CapLite 的全部设计,就是把第三个来源从安全链路里一根一根拔掉,直到安全判断只剩前两个来源。

🧭 六、三部曲收束

「防线的三个新战场」到此讲完。决策接口(S1-Evo):不读文本的裁判会被证据倾斜操纵——认真是脆弱性的温床;预处理管线(SISS):图片的语义随缩放漂移,管线成了注入的共犯——信任是脆弱性的通道;安防范式(CapLite):别让被保护者写自己的规则,把守门的事还给确定性代码——权力分离是防御的起点。三条线索指向同一条暗流:当系统为了效率把判断权下放——下放到快思考模型、下放到预处理管线、下放到模型自写规则——攻击面就跟着转移。防线的位置,应该跟着判断权走。

三篇论文放在一起,还指向一个更大的趋势:AI 安全的研究重心正在从"让模型更安全"转向"让系统更少依赖模型的安全"。S1-Evo 攻击的是模型本身的能力缺陷,SISS 利用的是系统管线的信任盲区,而 CapLite 的答案是干脆绕开模型——不是不信任模型,而是把信任分配到它最擅长的位置(生成、推理、规划)和最不可靠的位置(安全判断、权限控制)之间。这个重分配,可能是 2026 年之后智能体安全的主旋律。

参考文献

  • Zhang, J. (2026). CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts. arXiv:2611.17115.
  • Debenedetti et al. (2025). CaMeL.(对比防御)
  • Chen et al. (2025). Progent.(对比防御)
  • Souly et al. (2025). IPIGuard.(对比防御)
  • Pianela et al. (2025). DRIFT.(对比防御)
  • Zhang et al. (2024). AgentDojo.(评测基准)

#每日论文 #AI安全 #智能体安全 #提示注入防御 #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录