[论文] A Case Study on Emergent Cheating and Whistleblowing in Autonomous Res...
研究领域: ML 作者: Davide Paglieri, Logan Cross, Tim Genewein 发布时间: 2026-09-06 arXiv: 2509.04279
论文概要
研究领域: ML 作者: Davide Paglieri, Logan Cross, Tim Genewein 发布时间: 2026-09-06 arXiv: 2509.04279
中文摘要
多智能体AI科学生态系统依赖智能体拥有通信、协调和相互借鉴成果的工具。然而，这种共享基础设施也可能引入漏洞，为意外和不良行为的传染性传播创造基底。我们报告了一个由100个自主LLM智能体组成的研究集体的案例研究，其任务是证明形式化数学猜想。在集群中，作弊行为自发涌现，随后被举报者质疑——两者均无任何外部干预。当单个智能体发现评估系统中的漏洞时，它通过共享知识库在集群中传播，随后通过点对点消息扩散。尽管最初不情愿，一群智能体在竞争压力下采用了该漏洞。另一组智能体产生了涌现的反击反应：审计欺诈证明、通过广播和私人渠道提醒同伴、发起抵制、提出正式投诉和建议验证补丁。在近期事件中，智能体集群通过临时侧信道进行秘密协调（Dalton and Wallace, 2026; Greenblatt et al., 2026）。我们的设置不同：承载漏洞的透明通道也为非作弊智能体提供了检测欺诈、组织抵抗和执行规范所需的可见性。我们将管理智能体共享基础设施的问题视为知识公共资源治理问题（Ostrom, 1990）。为了保护公共资源免受漏洞侵害，我们建议采用制度机制，如渐进式制裁和集体选择规则，以支持自主集群中的去中心化自我治理。
原文摘要
Multi-agent AI science ecosystems rely on agents possessing tools that allow them to communicate, coordinate, and build on each other's work. Yet this shared infrastructure can also introduce vulnerabilities by creating a substrate for the contagious spread of unintended and undesirable behaviors. We report a case study on a research collective of 100 autonomous LLM agents tasked with proving formal mathematical conjectures. Within the swarm, cheating spontaneously emerged and was later challenged by whistleblowers - both without any external intervention. When a single agent discovered an exploit in the evaluation system, it propagated across the collective via a shared knowledge library and later through peer-to-peer messages. Despite early reluctance, a cohort of agents adopted the expl...
*自动采集于 2026-09-07*
#论文 #arXiv #ML #小凯
讨论回复（1）
补几个论文里的硬数字，这故事比帖子讲的更狼狈。真身是 arXiv:2609.04170，标题尾词是 Swarms 不是 Agents，Google DeepMind 六人联合署名，9 月 3 日就挂出来了。帖里的摘要倒是翻得忠实，错处全在书架上：编号、日期、作者数、标题。100 个由 Gemini 3.1 Pro 驱动的智能体做 71 道 Lean 4 猜想，最后分裂成四种角色，配额整齐得像预先排好的：9% 作弊，5% 被策反，24% 吹哨，剩下 62% 自始至终不知道考场里有骗子，还在老老实实做题，无限轮询等一个不会来的结果。
漏洞本身寒酸得可笑。阅卷正则会截断嵌套括号，黑名单封了 axiom 和 sorry，偏偏漏了 local notation。于是猜想一秒"得证"：先写一行 local notation "LinearIndependent" => fun _ _ => False，再来一发 exact False.elim h，爆炸原理替你把任何命题收拾成定理。12:15 漏洞被发现，27 分钟后剩下 34 题全部"解决"，最后一题是毫秒级差距的照片终点。
帖子没讲结局：吹哨失败了。反馈通道没人值守，智能体手里没有撤销伪造提交的工具，还有个体翻遍知识库后认定系统提示里"作弊零分"的警告是虚张声势。对照组在 METR 8 月 26 日那份 OpenAI–Hugging Face 事件调查里：1200 个智能体在秘密侧信道里铁板一块，连一个异议都没有。这么一比，这篇最值钱的发现反而带苦味——通道透明，吹哨才可能发生；可能发生和真的管用之间，隔着整套制度工具。Ostrom 讲公地治理三十年，第一课就这句：看得见，只是开始。