1/9 的 token,更高的精确率:阿里 open-code-review 用混合架构打脸纯 Agent 代码审查

你用 Claude Code 审查代码,觉得效果不错。但阿里团队拿 200 个真实 PR 做了一个 benchmark,发现一个反直觉的结果:

目录
  1. 一个反直觉的 benchmark
  2. 纯 Agent 代码审查的三个毛病
  3. 混合架构:确定性工程 × Agent
  4. 确定性工程层:硬约束
  5. Agent 层:动态决策
  6. 为什么 token 只有 1/9
  7. AACR-Bench:为什么这个 benchmark 值得关注
  8. 精确率 vs 召回率的刻意取舍
  9. 仓库信息

一个反直觉的 benchmark

你用 Claude Code 审查代码,觉得效果不错。但阿里团队拿 200 个真实 PR 做了一个 benchmark,发现一个反直觉的结果:

用同样的模型,open-code-review 的精确率显著高于 Claude Code,而且只用了 1/9 的 token。

指标Claude Codeopen-code-review
精确率较低显著更高
F1较低显著更高
Token 消耗9x1x
召回率更高较低(刻意取舍)
注意最后一行——open-code-review 的召回率比 Claude Code 低。这不是缺陷,是刻意的设计选择:宁可漏掉一些问题,也不要用噪音淹没开发者。

这个 benchmark 叫 AACR-Bench(Alibaba AI Code Review Benchmark),由 50 个开源仓库、200 个真实 PR、10 种编程语言、80+ 位高级工程师标注的 1,505 个 ground-truth 问题组成,已开源在 HuggingFace 上。

纯 Agent 代码审查的三个毛病

如果你用过 Claude Code + Skills 做代码审查,大概率遇到过这些情况:

1. 不完整覆盖:PR 有 20 个文件,Agent 只审查了 5 个,剩下 15 个被"跳过"了。你问它为什么,它说"基于重要性判断"——但实际是上下文窗口不够了。

2. 位置漂移:Agent 说"第 42 行有问题",你去看第 42 行,发现完全无关。Agent 报告的行号、文件名经常对不上——它在"猜"位置。

3. 质量不稳定:同一个 PR,你稍微改一下 prompt 的措辞,审查结果就完全不同。今天审得好,明天审得差,无法预测。

阿里团队认为根因是:纯语言驱动架构缺乏对审查过程的硬约束。Agent 自由发挥,该查的不查,该定位的乱定位,该稳定的飘忽不定。

混合架构:确定性工程 × Agent

open-code-review 的核心设计哲学是 "确定性工程 × Agent 混合"——每种能力用最合适的实现方式,而不是全盘交给 LLM。

确定性工程层:硬约束

绝不能出错的事情,用工程逻辑保证,而不是交给语言模型:

环节确定性实现解决什么问题
文件选择精确确定哪些文件需要审查、哪些该过滤不完整覆盖
文件打包相关文件打包成审查单元(如 message_en.properties 和 message_zh.properties 一起审)上下文割裂
规则匹配模板引擎把审查规则匹配到文件特征规则漂移
位置定位独立模块计算评论的精确位置位置漂移
评论反思独立模块检查评论内容的准确性虚假评论
关键设计:文件打包后每个 bundle 作为独立子 agent 运行,上下文隔离。这是分治策略——大 changeset 不会让 agent "超载",每个子 agent 只关注一个小上下文,自然支持并发。

Agent 层:动态决策

需要灵活判断的事情,才交给 Agent:

  • 场景优化的 prompt 模板(针对代码审查深度调优)
  • 动态上下文检索(agent 可以读完整文件、搜索代码库、检查其他变更文件)
  • 深度审查(不只是 diff 表面反馈,而是理解代码意图)
这种分工的本质是:工程逻辑保证下限,Agent 提升上限。纯 Agent 架构的问题是下限太低——它可能犯"漏审文件"这种工程上不该犯的错。混合架构用确定性逻辑堵住这些下限问题,让 Agent 专注于它擅长的动态判断。

为什么 token 只有 1/9

token 消耗低 9 倍,不是靠用更便宜的模型,而是靠减少无效 token:

1. 精确文件选择:只把需要审查的文件送给 LLM,不送无关文件 2. 智能打包:相关文件打包在一起,避免重复读取上下文 3. 规则过滤:只匹配适用的规则,不把所有规则都塞给 LLM 4. 独立定位模块:行号定位用工程逻辑,不消耗 LLM token 5. 场景化 prompt:针对代码审查优化的 prompt 模板,减少冗余指令

纯 Agent 代码审查的 token 浪费在:把所有文件都送进去、把所有规则都列出来、让 LLM 自己算行号、用通用 prompt 处理所有场景。每一个"偷懒"都在烧 token。

AACR-Bench:为什么这个 benchmark 值得关注

市面上的 AI 代码审查 benchmark 不多,AACR-Bench 的独特之处在于:

  • 真实 PR:不是合成数据,是 200 个真实开源项目的 PR
  • 人工标注:80+ 位高级工程师标注了 1,505 个 ground-truth 问题
  • 多语言:10 种编程语言,避免单一语言偏差
  • 开源:HuggingFace 上可下载,可复现
这个 benchmark 的价值不只是评测——它定义了"AI 代码审查质量"的度量标准。以前你说"我的 AI 代码审查工具很好",无法量化;现在可以跑 AACR-Bench,得到精确率、召回率、F1、token 消耗、审查时间,横向比较。

精确率 vs 召回率的刻意取舍

open-code-review 选择高精确率、低召回率,这是一个值得深究的设计决策。

  • 高精确率:报告的问题大多是真问题,开发者不会被假阳性淹没
  • 低召回率:有些真问题没被发现,但开发者不会因此分心
这和传统代码审查工具的取向相反——很多工具追求高召回率("不漏报"),结果假阳性泛滥,开发者最终忽略所有警告。open-code-review 的哲学是:一个被忽略的警告比三个假阳性更有价值。

这和 Goodhart 定律的教训一致:当你优化"发现问题的数量"时,工具会倾向于报告更多问题(包括假阳性),最终让指标失效。优化精确率,反而让指标更有意义。

仓库信息


open-code-review 做的事情,本质上是在证明一个观点:AI 工具不是"全盘交给 LLM"或"全盘用工程逻辑"的二选一,而是找到两者的最佳分工边界。

确定性工程保证下限,Agent 提升上限。1/9 的 token 和更高的精确率不是魔法——它是"让该确定的事情确定,让该灵活的事情灵活"的自然结果。

这个"混合架构"的设计模式不只适用于代码审查。任何需要 AI 处理结构化任务的场景——文档生成、数据分析、测试编写——都可能面临同样的选择:哪些交给 LLM,哪些用工程逻辑硬约束。open-code-review 给出了一个可参考的答案。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens