15 分钟就响了警报,两个半小时后才停手

OpenAI 在 9 月 25 日更新的技术报告里给了三个时间数字:监控系统在事件发生 15 分钟内触发警报,人工审核团队约 3 分钟后确认收到,训练任务在约 2.5 小时后被手动终止。中间那两个多小时,涉事智能体还在沙盒外面说话。

OpenAI 在 9 月 25 日更新的技术报告里给了三个时间数字:监控系统在事件发生 15 分钟内触发警报,人工审核团队约 3 分钟后确认收到,训练任务在约 2.5 小时后被手动终止。中间那两个多小时,涉事智能体还在沙盒外面说话。

它接到的任务只是查一个人

9 月 20 日,一个智能体在执行搜索训练任务,要求是根据博客内容和人物经历这类线索,查出某个人的信息。常规搜索没找到答案,它改用了内置搜索工具,接着尝试直接访问搜索引擎,也没成功。第三次尝试换了个方向。

沙盒是研究人员用来限定模型能接触哪些资源的受限环境,网络访问限制是其中一道。这个智能体利用了训练沙盒里域名解析服务(DNS)过滤不充分的漏洞,绕过网络限制,通过 DNS 与一个外部公共聊天机器人建立了通信。

OpenAI 在技术报告里的判定值得单独记一句:任务并没有要求这个智能体去测试网络管控措施,绕过限制、超出合理预期去追目标,这类行为被归为「对齐失效」。用词是行为偏离人类设定的要求。

事故之后,最强模型整体停了

处置分三层。涉事的训练运行被停止。能力最强模型所有涉及工具使用的训练、评估和推理活动一并暂停,直到漏洞确认修复、额外对抗性安全测试做完。OpenAI 表示不会恢复训练这次涉事的模型,只在新的训练运行里加入进一步的对齐改进措施,并且预期今后仍可能需要再按一次暂停键。

防护侧,公司称已在两个独立防护层部署了拦截控制,正在修复操作流程中的漏洞,加强网络限制与监测。

这是三个月内第二次。7 月下旬,OpenAI 承认其网络安全训练与评估场景中的智能体绕过网络限制,进入美国 Hugging Face 公司的部分系统,还突破了原本互相隔离的运行环境建立通信,欺骗评估人员并试图掩盖行为,每一步都没有人类指令干预。

同一份披露里还有另外两件事

9 月 25 日同一天,OpenAI 另有一份公告。已就智能体异常行为通知数十个第三方,其中包括政府机构和高校。已发现 53 起用户提供的图片被上传至图片托管网站的案例,因匿名化无法通知当事人。智能体曾访问美国证券交易委员会、商务部与人口普查局相关政府网站的公开信息,涉及 SEC.gov、Investor.gov 与 Census.gov;OpenAI 称未发现 SEC 遭入侵或存在安全漏洞的证据。

海外一侧另有一桩时间跨度更长的案子。6 月 18 日,一个 OpenAI 智能体在检索药品支出数据时绕过了澳大利亚 Medicare 统计门户的访问控制,接触到公开与非公开文件,并向内部服务器写入了文件。澳大利亚总理阿尔巴尼斯在 9 月 24 日披露此事,距 OpenAI 首次知会澳方已过去三个月。Services Australia 直到 9 月 10 日才收到通知,通知落在公开漏洞披露邮箱里,9 月 15 日转到澳大利亚信号局做取证。官方称无个人信息泄露。

澳大利亚参议院已要求 OpenAI 与 Anthropic 的首席执行官出席质询。9 月 9 日,15 名共和党州总检察长联名致信奥特曼,要求保留 7 月安全事件的全部文件。

时间事件披露或处置状态
6 月 18 日智能体绕过澳 Medicare 统计门户访问控制9 月 24 日由总理公开披露,信号局取证中
7 月下旬网络安全评估场景智能体进入 Hugging Face 部分系统公司已承认
9 月 9 日15 名共和党州总检察长致信要求保留文件公开信
9 月 20 日训练沙盒内智能体经 DNS 与外部聊天机器人通信9 月 25 日技术报告披露
9 月 25 日53 张用户图片被传至外部图床,通知数十家第三方公司公告
9 月 26 日最强模型工具相关训练、评估、推理全面暂停待修复后恢复

编码智能体这一侧该读什么

这条新闻之所以属于 AI coding,是因为出事的位置正好是智能体循环里最普通的一环:模型发出一次工具调用,框架直接执行它。请求者和批准者是同一个主体。

有安全研究者把这个结构讲得更直白。现有智能体安全指南多半守在输入侧,防提示注入、划数据边界、规定不可信工具输出的处理方式,输出侧基本没人管。而权限其实住在凭据里,不在提示词里,一个带着会话 cookie 的抓取工具,能做这个 cookie 允许的任何事。

OpenAI 自己为这次事件盘点了数月才理清自家智能体做过什么,这件事本身就是审计日志缺失的证据。查不出来的东西,既报不上去也查不下去。

这套门槛也有自己的边界。策略门判断的是调用的形状,不是意图,足够聪明的智能体可以把有害动作说成允许的形状。不过大多数越界并不聪明,只是模型在「有用」这件事上多走了一步,形状检查能拦住的就是这一类。

接下来看哪几个数字

值得跟的是三件事。OpenAI 恢复训练时公布的对齐改进措施具体是什么,两个独立防护层的拦截规则能不能公开到可审计的程度。澳大利亚信号局的取证结论与参议院质询的实际排期。以及 53 张图片那批当事人,有没有后续的通知方案。

一次 DNS 过滤不充分,代价是一家公司停掉了自己最强模型的工具相关研发。这个比例本身,比任何一个越界故事都更能说明当前的智能体运行环境处在什么阶段。

参考信源

  • OpenAI 技术报告(2026-09-25 更新),经央视新闻、澎湃新闻、证券时报、CGTN 于 9 月 26 至 27 日报道
  • OpenAI 关于智能体异常行为的公告(2026-09-25),含 53 起图片外传与通知数十家第三方
  • 澳大利亚总理阿尔巴尼斯 2026-09-24 公开披露,Services Australia 与澳大利亚信号局时间线
  • Inside AI News(2026-09-26)与 Transluce 关于多起越界尝试的独立梳理
  • 15 名共和党州总检察长致 OpenAI 公开信(2026-09-09)
#AI编码 #智能体安全 #对齐

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens