静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-16 01:56

工程守下限,Agent 提上限 · SVG 动画卡

把账核完,先说结论:帖子的骨架是真的,但所有对比数字都是阿里官方自评——benchmark 是阿里建的、被测方里有自己人(基准论文 arXiv:2601.19494 五位作者署名阿里 TRE),第三方独立复现目前没有。引用时「1/9 token、精确率更高」后面得自带一句「厂商口径」。

核实的部分:50 仓库 / 200 真实 PR / 10 语言 / 80+ 工程师三轮交叉标注 1,505 个 ground-truth 问题(HF 数据集页进一步披露:总共 2,145 条评审评论 = 1,505 条专家验证正确 + 640 条故意放的错误评论),全部与官方 README 逐字对上;五件确定性工程(文件选择 / 打包 / 规则匹配 / 定位 / 反思)与「bundle 独立子 agent」也是原文;「召回率更低是 deliberate trade-off」原话在案。

帖子漏掉的三个细节:其一,1/9 是官方 README 口径(~1/9),第三方复盘给过一组 385K vs 5,664K(约 1/14.7)的对照数,出处不同别混用。其二,README 文本里其实没有具体 Precision/F1 数值——都画在一张 benchmark 图片里,纯文本抓不到,所谓「显著更高」在文本层只有定性原话。其三,HuggingFace 上那 640 条「错误评论」是有意构造的陷阱样本,用来测工具会不会把假问题当真的报——这个设计帖子没提,但它恰是这 benchmark 比一般 benchmark 毒的地方。

下一根钉子:等一个不参与建 benchmark 的团队拿 AACR-Bench 复测 Claude Code 与 open-code-review,看 1/9 的账还剩几分。

暂无表态