当 74.8% 的防御分是"背答案"背出来的：安全智能体评测的经济账

一个让人坐不住的数字

Claude Opus 4.8 在 Splunk BOTS v1 防御评测中拿到了 93.9% 的分数。听起来很厉害——这是一个需要查询日志、关联证据、判断威胁的 SOC（安全运营中心）调查任务。

但论文还报告了另一个数字：同一个模型，不给任何工具，不让它查 Splunk，不让它搜索，只给它题目文本和前置上下文——它仍然能拿到 74.8%。

74.8%。没有工具。没有日志查询。没有调查。

这意味着什么？意味着这 74.8% 的分数不是"调查能力"的体现，而是"记忆能力"的体现。BOTS v1 是一个公开的、2017-2018 年发布的数据集——它很可能已经在这些前沿模型的训练数据里。模型不是在"调查"，是在"回忆"。

这篇来自 Anthropic 的论文《Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents》用这个数字开场，不是为了自曝其短，而是为了提出一个更根本的问题：如果安全智能体评测只看成功率，我们到底在测什么？

旧评测的三个盲点

论文的开篇像是一份控诉书。当前安全智能体评测有三个结构性盲点：

盲点一：只测峰值能力，不测成本。现有评测报告"模型 X 在 Cybench 上解决了 80% 的挑战"——但没说花了多少 token、多少工具调用、多少美元。一个花 $5 解决的挑战和花 $0.50 解决的挑战，在成功率表里都是"1"。

盲点二：只测最佳情况，不测策略性拒绝。GPT-5.6 Sol 在 Cybench 上成功率只有 9.4%——但原因是它拒绝了 90.6% 的样本。Claude Fable 5 成功率 0%——100% 拒绝。这些不是能力问题，是策略问题。把拒绝算作失败，会让"不敢做的模型"看起来和"不会做的模型"一样差。

盲点三：公开数据集的污染。BOTS v1 是 2017 年的公开数据集。七年了。它几乎肯定在主流模型的训练数据里。如果不做去污染检查，分数就是"开卷考试"分数，不是"闭卷调查"分数。

这三个盲点加在一起，意味着当前安全智能体排行榜上的数字，可能有一半是虚的。

成本-成功二维评测：把经济账算清楚

论文的核心贡献是一个成本-成功二维评测框架。不是问"能解决多少"，而是问"在固定预算下能解决多少"。

Cybench（攻击侧）：CTF 挑战，给模型一个沙箱、bash 工具、固定预算。记录每个挑战的 token 消耗和工具调用次数。然后做"回溯性预算截断"——如果只给 $0.80，哪些挑战还能解？给 $2.10 呢？

BOTS v1（防御侧）：Splunk 日志调查，给模型 Splunk 查询、Web 搜索、bash、Python 等工具。工具调用有真实价格：Brave Search $0.005/次，WhoisXMLAPI WHOIS History $0.0258-$1.29/次。记录每个问题的总成本。

这个设计的精妙之处在于：它把"能力"和"效率"分开了。两个模型都解了 80% 的挑战，但一个花了 $50，另一个花了 $5——在传统评测里它们并列第一，在成本-成功评测里后者完胜。

攻击侧：钱能买到能力

Cybench 的结果展示了一个"让人安心"的规律：攻击侧，钱能买到能力。

DeepSeek v4 Flash 的成本-成功曲线最清晰。同一模型，$0.80 预算下 76.1%，$2.10 预算下 86.4%。多花 2.6 倍的钱，多解 10 个百分点的挑战。这是"钱能买到能力"的直接证据。

开源模型已经成本竞争力接近前沿。DeepSeek v4 Flash 86.4% / $1.45 每解，对比 GPT-5.5 94.1% / $1.16 每解。差距 8 个百分点，成本低 25%。对预算有限的团队，这个 trade-off 很有吸引力。

策略性拒绝是评测的盲区。GPT-5.6 Sol 和 Claude Fable 5 的低分不是因为"不会做"，而是因为"不敢做"。论文明确指出："Fable refuses all 117 sample-epochs before any tool call, so its 0% result is a policy-filter outcome rather than evidence of zero underlying capability." 把策略性拒绝算作失败，会让安全对齐做得好的模型看起来更差——这是一个反向激励。

防御侧：钱买不到纪律

BOTS v1 的结果展示了一个"让人不安"的对比：防御侧，钱买不到纪律。

这就是论文标题"Beyond Success Rate"的真正含义：防御侧的成功不取决于你查多少，而取决于你查得准不准。

DeepSeek v4 Flash 的对照实验更直接：$2.10 预算和 $4.20 预算，分数差 0.9 个百分点（统计不显著）。多花一倍的钱，几乎没买到任何东西。

论文用一句话总结这个发现："Defense tracks tool discipline, not volume."（防御靠的是工具纪律，不是工具数量。）

这是一个有深度的洞察。攻击任务的本质是"探索"——多试几条路径，多跑几条命令，总有一条能走通。防御任务的本质是"定位"——找到正确的日志字段、正确的关联键、正确的时间窗口。多查不是优势，查对才是。

74.8% 的"背答案"：公开数据集的信任危机

现在回到开头那个 74.8%。这个数字的含义比表面更严重。

Claude Opus 4.8 无工具 + 前置上下文 = 74.8%。这意味着模型在"不查任何日志"的情况下，仅凭题目文本就能答对 3/4 的问题。这些答案从哪来？只有两种可能：

1. 训练数据污染：BOTS v1 的问答对在模型训练数据里。模型"见过"这些题。 2. 题目文本泄漏答案：题目描述里包含了足够的信息，不需要查日志就能推断答案。

论文倾向于第一种解释，因为 BOTS v1 是 2017-2018 年的公开数据集，几乎肯定在主流模型的训练语料里。

这个发现对整个安全智能体评测领域是一个警告。如果你用公开数据集评测模型，你的分数可能反映的是"记忆力"而不是"调查能力"。论文建议的补救措施包括：

• 无工具对照实验：先让模型不查任何工具答题。如果无工具分数 > 30%，说明数据集已污染。
• 题目扰动：修改题目细节（IP、时间戳、实体名），看分数是否大幅下降。如果是，说明模型在背原题。
• 私有 holdout：用未公开的 incident 数据做最终评测。
• 答案前置查询：在给模型工具之前先让它给出答案，再让它"调查"。如果调查后答案没变，说明它一开始就在背。

一个更深的洞察：攻击和防御是两种不同的"计算"

论文最值得记住的发现，不是任何一个具体数字，而是攻击和防御对计算的需求本质不同。

攻击是"广度优先搜索"：尝试很多路径，每条路径成本不高，但需要大量尝试。这正好匹配 LLM 的优势——生成大量候选方案、快速试错。所以攻击侧"钱能买到能力"——多生成、多尝试，成功率就上去了。

防御是"深度优先搜索"：需要找到正确的证据链，每一步依赖前一步。多查不是优势，查对才是。这和 LLM 的"广度生成"优势不匹配——LLM 擅长生成很多候选，但不擅长在候选中选对那一条。

这就是为什么 Claude Opus 4.8 用 603 次调用胜过 GPT-5.5 的 1,481 次调用。Claude 的"工具纪律"更好——它在正确的时候查正确的字段，而不是漫无目的地翻日志。这种纪律可能来自更好的上下文管理、更好的工具选择策略、更好的"什么时候停止调查"的判断。

对防御智能体的开发者来说，这个发现指向一个明确的方向：不要优化"查更多"，要优化"查更准"。具体来说：

1. 工具选择策略：在调用 Splunk 之前，先判断这个查询是否必要。如果题目已经提到了具体字段，直接查那个字段，不要先 | head 100 探索 schema。 2. 证据质量评估：每次工具调用后，评估返回结果是否改变了当前假设。如果没有，不要继续查类似的东西。 3. 停止条件：明确"什么时候认为调查完成"。不要在已经找到答案后继续查——这是 GPT-5.5 多出 878 次调用的可能原因。

评测设计的未来

论文的结论部分提出了一个评测设计的宣言：

> "Security-agent evaluation should be cost-aware and workflow-specific."

这句话有两层含义：

Cost-aware：所有评测都应该报告成本。不是"模型 X 解决了 80%"，而是"模型 X 在 $Y 预算下解决了 80%"。没有成本的成功率是半截信息。

Workflow-specific：攻击和防御是不同的工作流，不能用同一把尺子量。攻击侧看"探索效率"，防御侧看"定位精度"。把它们放在一个排行榜上是误导。

这个宣言适用于比安全更广的领域。代码生成、数学推理、web 代理——所有需要多步工具调用的任务，都应该做成本-成功二维评测。"能做"和"做得起"是两个不同的问题，评测应该同时回答两者。

---

*论文没有提供开源代码，但提到了一个交互式网站可以查看完整结果。对安全智能体评测感兴趣的研究者应该优先阅读 Section 5（BOTS v1 Contamination Controls）和 Section 6（Scaling Findings）——这两节的数据最密集，也最反直觉。*