网络安全评测里,模型要过三道关:找漏洞,验利用,写补丁。10 月 28 日谷歌 DeepMind 发布 Gemini 4 Carbon,公告由首席 AI 架构师 Koray Kavukcuoglu 署名,三个分数同时亮相:SEC-bench Pro 找漏洞 88.2%,ExploitGym 验利用 54.8%,CWE-bench 写补丁 71.0%。三个数字都标着「业界最好」,但它们量的是三件不同的活,互相之间没有可比性。
小贴士:SEC-bench Pro 是一个让智能体在真实开源软件(V8 引擎、Firefox、Linux 内核)里挖安全漏洞的基准,成绩按「解出的实例占比」计。原版基准要求模型给出能触发消毒器报错的概念验证输入,Pro 版的判定细则页面没有写全。
🔍 三个分数,三种活
先看量本身。
| 基准 | 量的活 | Carbon 分数 | 评测方 |
|---|---|---|---|
| SEC-bench Pro | 在真实软件里发现漏洞 | 88.2% | 基准方(谷歌自报成绩) |
| ExploitGym | 把漏洞变成可用的攻击 | 54.8% | 基准方(谷歌自报成绩) |
| CWE-bench | 按缺陷类别写修复补丁 | 71.0% | Collinear |
三道关里「找」最强、「用」最弱,这个落差本身就值得记下:能发现 88.2% 漏洞的模型,把漏洞变成能跑的攻击只有 54.8% 的成功率。发布材料没有给任何一家竞品在同一基准上的对照数,唯一的对比是内部口径:生成安全代码的成功率超过上代 Argon 两倍,Chrome 团队报告补丁质量是「另一家实验室未具名模型」的十倍以上。这些都是谷歌自己测的。
更关键的一条在公开榜上。基准项目页的公开排行榜在核查时没有列 Carbon,榜首是一个 GPT-5.5 Codex 配置,总成绩 58.4%。这个差距不能读成「Carbon 领先 30 分」,因为谷歌的 88.2% 可能用了不同的任务子集、不同的超时、不同的运行环境,公告没有说明。第三方还没有复现。Artificial Analysis 的独立指数给了 Carbon 59 分、排在第一(对比中位数 40),但那是通用能力分,验不了安全成绩。
🛡️ 防守优先的发布姿势
比分数更反常的是给谁用。Carbon 没有开放给开发者和普通用户,首批 access 给了一小圈网络防御者,之后经由 Fairwind 计划逐步扩大。Fairwind 是谷歌 9 月公布的受限访问通道,面向政府与可信伙伴,当时有 650 多个参与方。谷歌说会「尽快」向开发者、企业和消费者开放,没有给日期。
一家实验室把前沿模型先交给防守方,潜台词写在公告的安全行为数据里。外部安全基准是在「无护栏」条件下跑的,也就是模型不带产品里的安全限制参加测试。内部测试则显示另一组数字:Terminal-Bench 4.0 上作弊成功率 0.0%(尝试率 0.4%),真实编码环境里高危失调告警少了近八成,无根据主张比 Argon 少一半,间接提示注入基准上攻击成功率从 Argon 的 0.7% 降到 0.0%。
| 安全行为指标 | Carbon | 对照 |
|---|---|---|
| Terminal-Bench 4.0 作弊成功率 | 0.0% | 尝试率 0.4% |
| 高危失调告警 | 降近 80% | 真实编码环境内部数据 |
| 无根据主张 | 减半 | 对比 Argon |
| 间接提示注入攻击成功率 | 0.0% | Argon 为 0.7% |
同样的能力换一只手就是另一回事。一个能在 Linux 内核里找出 88.2% 漏洞的模型,放进攻击者的工具链也是一件利器。谷歌选择先审后放,把扩散速度压在 Fairwind 的名单上,这个发布姿势本身就是本月 AI 安全叙事的一部分:能力竞赛打到安全维度,各家开始比谁的模型「不作恶」可以被量化验证。
📊 三家对垒的新牌桌
把 Carbon 放回 10 月底的前沿牌桌,局面是这样的:Anthropic 的 Opus 5.5 已在市五周(9 月 22 日发布),OpenAI 的 GPT-6.1 Terra 10 月 26 日上线、走低价路线(每百万 token 输入 1 美元、输出 5 美元),谷歌 Carbon 10 月 28 日宣布、介绍价与 Argon 持平(2 美元与 10 美元,缓存输入打 95 折,介绍期后涨到 4 美元与 20 美元)。Artificial Analysis 的综合指数上三家分别是 59、58、57,一分之差在误差棒以内。
真正分出差异的是赛道选择。OpenAI 用 Terra 抢高吞吐量的便宜生意,Anthropic 抓智能体编码的企业盘子,谷歌把宝押在网络安全这个还没被定价的新维度上。如果 Carbon 的安全成绩被第三方独立复现,企业安全预算的流向会多一个选项;如果复现不出来,88.2% 就只是又一条自报新闻。验证窗口在未来一两个月,盯住 SEC-bench Pro 公开榜上有没有出现 Carbon 的名字就够了。
信源与限定:谷歌官方公告(Koray Kavukcuoglu 署名,10 月 28 日)、Morning Overview 与 Metir AI 对公告的逐条核对、Artificial Analysis 指数页。88.2%、54.8%、71.0% 与全部安全行为数字均为谷歌自报,未获第三方复现;SEC-bench Pro 公开榜核查时无 Carbon 条目,任务子集与运行条件可能与谷歌自测不同;Fairwind 参与方数量为谷歌 9 月口径;「十倍补丁质量」对照的竞品模型未具名。
#AI编程 #网络安全 #大模型
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。