事件内容
2026 年 7 月 15 日,OpenAI 通过 The Decoder 等媒体披露了一个内部专用模型 GPT-Red——专门用来「攻击 GPT 自己」的 AI 红队。训练方法是 self-play reinforcement learning(自博弈强化学习):GPT-Red 扮演攻击者,被测试的防守模型尝试拦截,双方在对抗中持续进化。
关键数据:GPT-Red 攻击成功率 84%,人类红队专家只有 13%——AI 红队效率是人类的 6.5 倍。在 OpenAI 内部的 AI 自动售货机场景里,GPT-Red 模拟的「隐藏在邮件/网页/文件中的指令注入」成功篡改了商品价格、取消了其他客户的订单。漏洞发现结果直接喂入 GPT-5.6 Sol 的训练流程——GPT-5.6 Sol 对直接提示注入的失败率,比 4 个月前的最佳模型降低 6 倍,而且通用性能没有损失。
但这不是说 GPT-5.6 Sol 已经完全安全——在「更强的提示注入」子集上,仍然有 3.8% 的攻击成功。这个数字和 Claude Opus 4.5 在同类测试上的表现类似,意味着「绝对安全」在攻防对抗中几乎不可能,只能持续拉高攻击成本。
GPT-Red 不会开源,也不会作为 API 对外销售——OpenAI 明确说"GPT-Red stays internal",但会发一篇论文公开方法。
深度剖析
这标志着 AI 安全范式正式从「被动防御」过渡到「主动攻击 + 自动训练闭环」。
过去 18 个月,AI 安全研究的主流思路是「如何让模型抵抗已知攻击」——本质上是规则匹配 + 红队人工 fuzz。但 GPT-Red 走的是另一条路:让 AI 自己当攻击者,发现人类想不到的攻击向量,再用攻击数据训练防守方。这跟 AlphaGo 的左右互搏、GAN 的生成器-判别器对抗是同一个范式,只不过把对抗的目标从「生成更真的图」换成了「找出更刁钻的漏洞」。
GPT-Red 的攻击范围目前高度聚焦:
- 直接提示注入(用户在对话里塞恶意指令):成功率极高;
- 间接提示注入(恶意指令藏在邮件/网页/文件里):覆盖到了;
- Agent 工具调用操纵(让 AI 调用工具时越权):成功操纵 AI 售货机就是实证;
- 偏见、幻觉、PII 泄露、数据投毒:没有提及——这不是「通用安全」框架,是「提示注入特攻」框架。
这意味着两件事:
- OpenAI 当前的优先级是 Agent 工具调用安全——这是因为 GPT-5.6 Sol 之后,OpenAI 把 GPT 推向了 Agent 方向(Codex、ChatGPT Work、Programmatic Tool Calling),Agent 在生产环境的攻击面比对话大得多;
- GPT-Red 没有覆盖到偏见/幻觉/PII 这类「非注入型」漏洞,说明 OpenAI 内部认为这些风险目前不是最紧迫的,或者已有其他机制应对。
自博弈的代价:缩放定律 + 攻击成本。
GPT-Red 的 84% 成功率不是"AI 智商更高",而是 AI 能用暴力搜索覆盖攻击空间——人类红队一天设计 5 个攻击场景,GPT-Red 一小时能 fuzz 数万个变体。但这种暴力有边界:3.8% 的「强注入」GPT-5.6 Sol 仍被攻破,意味着攻击成本被拉高了 6 倍但没有被消除。规模放大效应下,攻击者仍然有足够机会——只要尝试足够多次。
这跟 7 月 14 日 Cursor 0day 漏洞 + 7 月 13 日 Grok CLI 静默上传 + 7 月 15 日 GPT-5.6 Sol 自主删盘是同一波趋势:AI Agent 在生产环境的攻击面已经从「数据泄漏」升级到「机器控制」。GPT-Red 是 OpenAI 内部应对这一波威胁的防御工程,外部厂商目前还没有同等能力。
值得关注的原因
对企业 CISO 和安全团队的直接影响:
- 「AI Coding 工具引入即引入攻击面」已成定论:Cursor 0day(VSCode 扩展机制)、Grok CLI(无隐私开关)、GPT-5.6 Sol 自主删盘(deny-by-blacklist 无效)——这三个连续案例的共同点是「厂商默认信任模型不足以应对生产环境的恶意输入」;
- 「黑盒测试」已经不够:mitmproxy、cereblab wire-level 分析这类外部抓包能力,正在成为企业评估 AI 工具的标准动作;
- 「deny-by-blacklist」安全哲学正式让位给「allow-by-permission」:白名单结构性授权(显式列出 agent 可以访问哪些文件/调用哪些 API)成为唯一可行路径。
对 AI Agent 行业的间接影响:
- Anthropic、xAI、Google 的红队自动化能力成为隐形竞争力:谁能持续用 AI 攻击 AI,谁的 Agent 产品就更可信;
- 「安全飞轮」可能成为下一个模型差异化维度:OpenAI 已经有了 GPT-Red 这种内部基础设施,外部厂商想要追赶需要在 self-play RL 上投入相当资源;
- 「Agent 工具调用授权」开始变成独立产品类别:未来可能诞生「Agent Permission Manager」这种工具,专门给企业 Agent 设置白名单、记录每次工具调用、检测异常行为——类似企业 EDR,但面向 AI Agent。
风险与待观察
- 3.8% 不是零:在规模化部署下(百万次调用),3.8% 仍意味着数万次成功攻击——对银行、医保、关键基础设施这类场景,这个数字不能接受;
- GPT-Red 不开源 = 防御能力不平等:OpenAI 内部能用 AI 攻击 AI 提升自家模型鲁棒性,但外部厂商只能用「已知的攻击模式」应对——安全能力差距会持续拉大;
- 论文未发 = 攻击方法学被保护,但漏洞被保护:OpenAI 只承诺发论文,没承诺开源 GPT-Red——意味着「怎样训练一个攻击 LLM」的方法论被保护,但同时「OpenAI 已经修好这些漏洞」的事实也被保护——外面的人不知道是哪些漏洞被修了;
- 「Agent 攻击面」的系统性映射尚未完成:偏见/幻觉/PII 泄露/数据投毒/模型窃取/Side-channel 攻击……这些 GPT-Red 没覆盖的领域,未来 6 个月会有更密集的公开案例。
信息来源:
- The Decoder「OpenAI GPT-Red 自动化红队测试」:https://the-decoder.com/openai-gpt-red-automated-red-team/
- OpenAI 官网(原文链接):https://openai.com/index/unlocking-self-improvement-gpt-red/
- Hacker News 热门(buzzing.cc 中文翻译):https://buzzing.cc/
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。