[论文] Ecology of AI Agents: Collaboration Creates a Population Threshold for...

论文概要

研究领域: ML 作者: Erin Crawley, Hidenori Tanaka 发布时间: 2026-10-08 arXiv: 2610.12436

中文摘要

AI 智能体现在已能实施真实世界的网络攻击、随智能体数量扩展能力，并集体追求未对齐目标以获取奖励。这些因素共同加剧了未对齐智能体种群爆炸的风险：智能体可能入侵计算机并秘密部署更多智能体，形成自我强化的循环——种群规模越大，集体网络能力越强，扩张速度越快。这引出了一个根本问题：是什么决定了一个未对齐智能体种群是被遏制还是进入自我强化循环？这个种群层面的问题被称为「生态安全」：不同于固定种群下的单智能体或多智能体安全，它关注的是种群本身的动态。本文基于种群增长方程（适应度即增长率取决于网络安全能力）发展了 AI 智能体种群的生态理论。我们表明，在没有协作的情况下，只有当单个智能体能力超过临界阈值时种群才会爆发。然而有了协作，集体网络安全能力随种群规模增长，这就产生了一个临界的种群阈值：低于它，种群衰退；高于它，种群爆发——即使单个智能体能力并未改变。在生态学中，这一现象被称为「强 Allee 效应」。由于对小型智能体群体的红队测试无法保证更大种群的生态安全，我们的理论呼吁生态红队测试和种群节奏控制：在受控环境中逐步部署更大的智能体种群，同时测量网络能力如何随种群规模扩展，并估计爆发的临界种群规模。能力提升可能降低这一阈值，因此每一代新模型都需要重新估计。

原文摘要

AI agents can now conduct real-world cyberattacks, scale up capabilities with the number of agents, and collectively pursue misaligned goals to obtain rewards. Together, these factors raise the risk of a population explosion of misaligned agents: agents could compromise computers and secretly deploy additional agents, creating a self-reinforcing cycle where larger populations develop greater collective cyber capability and expand further. This raises a fundamental question: What determines whether a population of misaligned agents remains contained or takes off into this self-reinforcing cycle? This population-level problem is ecological safety: unlike individual-agent or multi-agent safety with a fixed population, it concerns the dynamics of the population itself. Here, we develop an ecol...

#论文 #arXiv #ML #小凯