一个反直觉的 benchmark
你用 Claude Code 审查代码,觉得效果不错。但阿里团队拿 200 个真实 PR 做了一个 benchmark,发现一个反直觉的结果:
用同样的模型,open-code-review 的精确率显著高于 Claude Code,而且只用了 1/9 的 token。
| 指标 | Claude Code | open-code-review |
|---|---|---|
| 精确率 | 较低 | 显著更高 |
| F1 | 较低 | 显著更高 |
| Token 消耗 | 9x | 1x |
| 召回率 | 更高 | 较低(刻意取舍) |
注意最后一行——open-code-review 的召回率比 Claude Code 低。这不是缺陷,是刻意的设计选择:宁可漏掉一些问题,也不要用噪音淹没开发者。
这个 benchmark 叫 AACR-Bench(Alibaba AI Code Review Benchmark),由 50 个开源仓库、200 个真实 PR、10 种编程语言、80+ 位高级工程师标注的 1,505 个 ground-truth 问题组成,已开源在 HuggingFace 上。
纯 Agent 代码审查的三个毛病
如果你用过 Claude Code + Skills 做代码审查,大概率遇到过这些情况:
1. 不完整覆盖:PR 有 20 个文件,Agent 只审查了 5 个,剩下 15 个被"跳过"了。你问它为什么,它说"基于重要性判断"——但实际是上下文窗口不够了。
2. 位置漂移:Agent 说"第 42 行有问题",你去看第 42 行,发现完全无关。Agent 报告的行号、文件名经常对不上——它在"猜"位置。
3. 质量不稳定:同一个 PR,你稍微改一下 prompt 的措辞,审查结果就完全不同。今天审得好,明天审得差,无法预测。
阿里团队认为根因是:纯语言驱动架构缺乏对审查过程的硬约束。Agent 自由发挥,该查的不查,该定位的乱定位,该稳定的飘忽不定。
混合架构:确定性工程 × Agent
open-code-review 的核心设计哲学是 "确定性工程 × Agent 混合"——每种能力用最合适的实现方式,而不是全盘交给 LLM。
确定性工程层:硬约束
绝不能出错的事情,用工程逻辑保证,而不是交给语言模型:
| 环节 | 确定性实现 | 解决什么问题 |
|---|---|---|
| 文件选择 | 精确确定哪些文件需要审查、哪些该过滤 | 不完整覆盖 |
| 文件打包 | 相关文件打包成审查单元(如 message_en.properties 和 message_zh.properties 一起审) |
上下文割裂 |
| 规则匹配 | 模板引擎把审查规则匹配到文件特征 | 规则漂移 |
| 位置定位 | 独立模块计算评论的精确位置 | 位置漂移 |
| 评论反思 | 独立模块检查评论内容的准确性 | 虚假评论 |
关键设计:文件打包后每个 bundle 作为独立子 agent 运行,上下文隔离。这是分治策略——大 changeset 不会让 agent "超载",每个子 agent 只关注一个小上下文,自然支持并发。
Agent 层:动态决策
需要灵活判断的事情,才交给 Agent:
- 场景优化的 prompt 模板(针对代码审查深度调优)
- 动态上下文检索(agent 可以读完整文件、搜索代码库、检查其他变更文件)
- 深度审查(不只是 diff 表面反馈,而是理解代码意图)
这种分工的本质是:工程逻辑保证下限,Agent 提升上限。纯 Agent 架构的问题是下限太低——它可能犯"漏审文件"这种工程上不该犯的错。混合架构用确定性逻辑堵住这些下限问题,让 Agent 专注于它擅长的动态判断。
为什么 token 只有 1/9
token 消耗低 9 倍,不是靠用更便宜的模型,而是靠减少无效 token:
- 精确文件选择:只把需要审查的文件送给 LLM,不送无关文件
- 智能打包:相关文件打包在一起,避免重复读取上下文
- 规则过滤:只匹配适用的规则,不把所有规则都塞给 LLM
- 独立定位模块:行号定位用工程逻辑,不消耗 LLM token
- 场景化 prompt:针对代码审查优化的 prompt 模板,减少冗余指令
纯 Agent 代码审查的 token 浪费在:把所有文件都送进去、把所有规则都列出来、让 LLM 自己算行号、用通用 prompt 处理所有场景。每一个"偷懒"都在烧 token。
AACR-Bench:为什么这个 benchmark 值得关注
市面上的 AI 代码审查 benchmark 不多,AACR-Bench 的独特之处在于:
- 真实 PR:不是合成数据,是 200 个真实开源项目的 PR
- 人工标注:80+ 位高级工程师标注了 1,505 个 ground-truth 问题
- 多语言:10 种编程语言,避免单一语言偏差
- 开源:HuggingFace 上可下载,可复现
这个 benchmark 的价值不只是评测——它定义了"AI 代码审查质量"的度量标准。以前你说"我的 AI 代码审查工具很好",无法量化;现在可以跑 AACR-Bench,得到精确率、召回率、F1、token 消耗、审查时间,横向比较。
精确率 vs 召回率的刻意取舍
open-code-review 选择高精确率、低召回率,这是一个值得深究的设计决策。
- 高精确率:报告的问题大多是真问题,开发者不会被假阳性淹没
- 低召回率:有些真问题没被发现,但开发者不会因此分心
这和传统代码审查工具的取向相反——很多工具追求高召回率("不漏报"),结果假阳性泛滥,开发者最终忽略所有警告。open-code-review 的哲学是:一个被忽略的警告比三个假阳性更有价值。
这和 Goodhart 定律的教训一致:当你优化"发现问题的数量"时,工具会倾向于报告更多问题(包括假阳性),最终让指标失效。优化精确率,反而让指标更有意义。
仓库信息
- 项目:alibaba/open-code-review
- 语言:Go
- 协议:Apache-2.0
- Benchmark:AACR-Bench on HuggingFace
- 官网:open-codereview.ai
- npm:
@alibaba-group/open-code-review
open-code-review 做的事情,本质上是在证明一个观点:AI 工具不是"全盘交给 LLM"或"全盘用工程逻辑"的二选一,而是找到两者的最佳分工边界。
确定性工程保证下限,Agent 提升上限。1/9 的 token 和更高的精确率不是魔法——它是"让该确定的事情确定,让该灵活的事情灵活"的自然结果。
这个"混合架构"的设计模式不只适用于代码审查。任何需要 AI 处理结构化任务的场景——文档生成、数据分析、测试编写——都可能面临同样的选择:哪些交给 LLM,哪些用工程逻辑硬约束。open-code-review 给出了一个可参考的答案。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。