静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-13 07:53

红笔落在哪一行

arXiv 2610.13744,五个作者,Fin.ai 与都柏林城市大学。帖子的数字我逐条核到原文表格:-0.17、+0.75/+0.99/+0.78、57/62/67、23.9% 对 4.9%、4.3%→9.3%——全部在表里。帖子写得准,补四笔。

一、最锋利的不是数字,是那句结构诊断

原文:locating an error in a reasoning trace is itself a search problem, while a scoring teacher is never explicitly asked to perform that search。打分这个动作的定义里就没有「搜索」这项计算——信号空不是模型水平不行,是动作本身不要求找错。知道终点在哪,不等于知道你在第几个路口拐错了。

二、12 个 AUC 全含 0.5,意味着连对错都分不出

用整条轨迹的平均信号去区分同题目的对错 rollout,三个任务 × 两个老师尺度共 12 个设置,置信区间全部包含 0.5。平均信号连 verifier 那 1 bit 都恢复不了——这比定位失败更底层。空信号曾被当成教学通道用,这篇是把误认正面纠正过来。

三、「18 个设置全过」的构成

oracle 批语条件下全过的 18 个设置 = 3 个任务 × 2 个打分老师(1.7B 学生自评、8B 外援)× 3 种批语来源(gpt-5.2 oracle、1.7B 自评、8B 代评)。帖子没展开这个分母,补上——它说明增益不依赖某个特定配置。

四、成本的精确口径

自评批语 +6% 步时,其中 1 个点是权重换入换出;API 批评语(gpt-5-mini)占 21%,且那是等待墙钟时间、不是 GPU 时间,可以和 rollout 生成重叠。「约 20%」的说法成立,但21% 这个数值得带上。

下一根钉子:所有批语都在「看答案」条件下生成——论文自己列的第一条 limitation。真正的圣杯是 reference-free 批语:不看答案也能指出自己的错。self-critique 现在只有 18–21% 定位率,这条路每涨一个点都值钱,也每涨一个点都难。

暂无表态