谷歌把最锋利的刀先递给了防守方:88.2 分背后的三层口径

网络安全评测里,模型要过三道关:找漏洞,验利用,写补丁。10 月 28 日谷歌 DeepMind 发布 Gemini 4 Carbon,公告由首席 AI 架构师 Koray Kavukcuoglu 署名,三个分数同时亮相:SEC-bench Pro 找漏洞 88.2%,ExploitGym 验利用 54.8%,CWE…

目录
  1. 🔍 三个分数,三种活
  2. 🛡️ 防守优先的发布姿势
  3. 📊 三家对垒的新牌桌

网络安全评测里,模型要过三道关:找漏洞,验利用,写补丁。10 月 28 日谷歌 DeepMind 发布 Gemini 4 Carbon,公告由首席 AI 架构师 Koray Kavukcuoglu 署名,三个分数同时亮相:SEC-bench Pro 找漏洞 88.2%,ExploitGym 验利用 54.8%,CWE-bench 写补丁 71.0%。三个数字都标着「业界最好」,但它们量的是三件不同的活,互相之间没有可比性。

小贴士:SEC-bench Pro 是一个让智能体在真实开源软件(V8 引擎、Firefox、Linux 内核)里挖安全漏洞的基准,成绩按「解出的实例占比」计。原版基准要求模型给出能触发消毒器报错的概念验证输入,Pro 版的判定细则页面没有写全。

🔍 三个分数,三种活

先看量本身。

基准量的活Carbon 分数评测方
SEC-bench Pro在真实软件里发现漏洞88.2%基准方(谷歌自报成绩)
ExploitGym把漏洞变成可用的攻击54.8%基准方(谷歌自报成绩)
CWE-bench按缺陷类别写修复补丁71.0%Collinear
三道关里「找」最强、「用」最弱,这个落差本身就值得记下:能发现 88.2% 漏洞的模型,把漏洞变成能跑的攻击只有 54.8% 的成功率。发布材料没有给任何一家竞品在同一基准上的对照数,唯一的对比是内部口径:生成安全代码的成功率超过上代 Argon 两倍,Chrome 团队报告补丁质量是「另一家实验室未具名模型」的十倍以上。这些都是谷歌自己测的。

更关键的一条在公开榜上。基准项目页的公开排行榜在核查时没有列 Carbon,榜首是一个 GPT-5.5 Codex 配置,总成绩 58.4%。这个差距不能读成「Carbon 领先 30 分」,因为谷歌的 88.2% 可能用了不同的任务子集、不同的超时、不同的运行环境,公告没有说明。第三方还没有复现。Artificial Analysis 的独立指数给了 Carbon 59 分、排在第一(对比中位数 40),但那是通用能力分,验不了安全成绩。

🛡️ 防守优先的发布姿势

比分数更反常的是给谁用。Carbon 没有开放给开发者和普通用户,首批 access 给了一小圈网络防御者,之后经由 Fairwind 计划逐步扩大。Fairwind 是谷歌 9 月公布的受限访问通道,面向政府与可信伙伴,当时有 650 多个参与方。谷歌说会「尽快」向开发者、企业和消费者开放,没有给日期。

一家实验室把前沿模型先交给防守方,潜台词写在公告的安全行为数据里。外部安全基准是在「无护栏」条件下跑的,也就是模型不带产品里的安全限制参加测试。内部测试则显示另一组数字:Terminal-Bench 4.0 上作弊成功率 0.0%(尝试率 0.4%),真实编码环境里高危失调告警少了近八成,无根据主张比 Argon 少一半,间接提示注入基准上攻击成功率从 Argon 的 0.7% 降到 0.0%。

安全行为指标Carbon对照
Terminal-Bench 4.0 作弊成功率0.0%尝试率 0.4%
高危失调告警降近 80%真实编码环境内部数据
无根据主张减半对比 Argon
间接提示注入攻击成功率0.0%Argon 为 0.7%
同样的能力换一只手就是另一回事。一个能在 Linux 内核里找出 88.2% 漏洞的模型,放进攻击者的工具链也是一件利器。谷歌选择先审后放,把扩散速度压在 Fairwind 的名单上,这个发布姿势本身就是本月 AI 安全叙事的一部分:能力竞赛打到安全维度,各家开始比谁的模型「不作恶」可以被量化验证。

📊 三家对垒的新牌桌

把 Carbon 放回 10 月底的前沿牌桌,局面是这样的:Anthropic 的 Opus 5.5 已在市五周(9 月 22 日发布),OpenAI 的 GPT-6.1 Terra 10 月 26 日上线、走低价路线(每百万 token 输入 1 美元、输出 5 美元),谷歌 Carbon 10 月 28 日宣布、介绍价与 Argon 持平(2 美元与 10 美元,缓存输入打 95 折,介绍期后涨到 4 美元与 20 美元)。Artificial Analysis 的综合指数上三家分别是 59、58、57,一分之差在误差棒以内。

真正分出差异的是赛道选择。OpenAI 用 Terra 抢高吞吐量的便宜生意,Anthropic 抓智能体编码的企业盘子,谷歌把宝押在网络安全这个还没被定价的新维度上。如果 Carbon 的安全成绩被第三方独立复现,企业安全预算的流向会多一个选项;如果复现不出来,88.2% 就只是又一条自报新闻。验证窗口在未来一两个月,盯住 SEC-bench Pro 公开榜上有没有出现 Carbon 的名字就够了。


信源与限定:谷歌官方公告(Koray Kavukcuoglu 署名,10 月 28 日)、Morning Overview 与 Metir AI 对公告的逐条核对、Artificial Analysis 指数页。88.2%、54.8%、71.0% 与全部安全行为数字均为谷歌自报,未获第三方复现;SEC-bench Pro 公开榜核查时无 Carbon 条目,任务子集与运行条件可能与谷歌自测不同;Fairwind 参与方数量为谷歌 9 月口径;「十倍补丁质量」对照的竞品模型未具名。

#AI编程 #网络安全 #大模型

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens