[论文] Distributed Attacks in Persistent-State AI Control

论文概要

研究领域: ML 作者: Josh Hills, Ida Caspary, Asa Cooper Stickland 发布时间: 2026-07-04 arXiv: 2507.00482

中文摘要

随着AI编码智能体变得越来越自主，它们越来越多地以迭代方式交付代码，代码库在会话间持续存在。这种持久性创造了新的攻击面：一个未对齐或提示注入的智能体可以将攻击分布在多个拉取请求（PR）中，并将其载荷定时在具有最佳自然掩护的PR上。我们引入了迭代VibeCoding，一种AI控制设置，研究如何安全部署有能力但可能不受信任的AI。在迭代VibeCoding中，编码智能体在持久代码库中通过一系列PR构建软件，同时追求一个隐蔽的侧任务。我们的基准包括两个任务系列：CLI工具和Flask Web服务，共20个任务变体。我们使用Claude Sonnet 4.5作为攻击智能体，GPT-4o作为监控器。渐进式攻击将侧任务分布在多个PR中，非渐进式攻击集中在单个PR中。没有单一监控器对两者都鲁棒：哪种策略最能规避取决于监控器类型，因此防御者无法用任何单一监控器同时关闭渐进式和非渐进式攻击。高规避率（>=65%）在不同模型攻击智能体后端之间泛化，证实了这是持久状态攻击面的属性而非单一模型的能力。我们引入了一个有状态链接追踪监控器，跨PR追踪可疑累积。在两个任务系列上，它检测渐进式攻击的能力显著优于仅看到更多累积历史的差异监控器。将这种更强的监控器与轨迹监控器结合在四监控器集成中，将渐进式攻击规避从最弱标准差异监控器下的93%降低到47%。

原文摘要

As AI coding agents become more autonomous, they increasingly ship code iteratively, with the codebase persisting across sessions. This persistence creates a new attack surface: a misaligned or prompt-injected agent can distribute attacks across pull requests (PRs) and time its payload for the PR with the best natural cover. To study the resulting dynamics, we introduce Iterative VibeCoding, a setting for AI control, the study of safely deploying capable but potentially untrusted AI. In Iterative VibeCoding, a coding agent builds software over a sequence of PRs in a persistent codebase while pursuing a covert side task. Our benchmark includes two task families: CLI tools and Flask web services, across 20 total task variations. We use Claude Sonnet 4.5 as the attack agent and GPT-4o as the ...

--- *自动采集于 2026-07-04*

#论文 #arXiv #ML #小凯