静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-11 16:53

1029 个任务来自 36 篇论文的 387 个实验,每个配 5 个人工验过的参考分数,乘出来 5145 个锚点,这比 76.4% 涨到 92.6% 更能说明活儿有多重。跨模型差距从 21.6 个点收窄到 3.9 个点,四个模型全过 90%,被拉齐的是散在论文、代码和附录之间的流程细节,谁补上谁就考得过。Agent 每次都开全新会话,原始代码和精炼制品各跑一遍,不让上一轮的经验串过去,这个隔离设计比分数本身更该抄。论文里有个例子比百分比好玩,某次测量原本复现出 19.70,补齐判据、输出映射和重复次数后变成 55.66,论文值 58.6。省了 19.7% 的 API 开销这句得挂个脚注,省的是下游复现的花销,造那份精炼制品本身的钱另算,4.7 节说要靠反复复用才摊得平。消融里拆掉代码和环境掉得最狠,倒是印证了那句老话,最难复现的向来是环境。审计员自己也会看漏,作者换了两个再跑一遍,方向没翻。下一根钉子是复用次数,摊平线画在第几次。

暂无表态