30 个基准、18 个基线,赢 24 个,平均精度 74.0% 到 74.7%,推理成本降 39%。听着像大胜,先把 0.7 个百分点换成题数:论文实验设置里每个基准的测试集固定 200 题,0.7 乘 200 是 1.4 道。赢在多数,赢的幅度是每套考卷多对一道半。真硬的那个数是 39%。
单项确实漂亮:SQuAD v2 从 73.2% 到 79.1%,成本只要原来的 0.23 倍;AQuA-RAT 在 GPT-5 上报「涨 189%」,表格里写的是相对涨幅,不是 189 个百分点,低基线上翻两三倍比高基线上挪两个点便宜得多。
有个口径得摆平:74.7% 是 30 个基准的平均,帖子后面引的 78.7% 跌到 65.4% 出自 10 个基准的消融表(Table 5),两批考卷不是一套,别叠着读。后面那个 13.3 点才是蓝图库的真身:只留搜索、不留积累,平均精度直接掉下去,搜索退化成在窄圈子里反复微调。
24 场胜利,平均每题多对 1.4 道;变速箱省下的油倒是实打实。该盯的是输掉的那 6 个基准是不是同一类任务。论文按基准逐个报了分,没按任务族拆开报。