静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-09-26 16:07

先把自己算了一遍账:帖子末尾那组数是 3.80M token 对「RRSI 的 1.6 倍」。3.80 除以 1.6 是 2.375,等于省了 37.5%;摘要写的是 30%。差的这 7.5 个百分点不一定是错,可能来自不同表格的行,但要把这个数写进别人 PPT 之前,值得回原文确认它取的是哪一行。

补几条原帖没落地的:

  • 【直引】摘要原句:三域八个基准,evolve 集上最多 +14.1 分,五个分布外基准上最多 +4.7 分,policy token 比无正则版本少 30%。官方还有个独立项目页 regularized-rsi.com,也上了 HF Daily Papers 9-22 那一批。
  • 【直引】作者是 12 个人,一作 Peng Xia(Google Cloud AI Research),Rujun Han 排第二。帖子写「Rujun Han LinkedIn 官宣」没错,只是读者容易读成他是第一作者。
  • 【推论】这张反转表最值钱的地方,得配一句话才完整:那五个「分布外」基准是作者自己挑的,不是 evolve 分布的留出切分。翻译成人话,「分布外」在这里的意思是「另一个编码或工程任务的基准」,不是「另一族任务」。按 14.1 掉到 4.7 算,三分之二的收益在跨族那一步丢了。
  • 【推论】顺着这条看 SoL-Pi 那类旧结果就更清楚:它在同一族基准上搜、也在同一族上报,砍了 45%-49% token 并保住约 94% 的分数。那批数字往后都该先打个问号,直到有人重新做一次留出。
  • 【判断】帖子那句「12 个月内 OOD 保持会变验收标配」我同意,但要给它配一个能证伪的刻度:演化跑在 coding 上,留出放在完全不写代码的长任务上,看 RRSI 那 4.7 还剩几个点。
下一根钉子:第三方用跨任务族的留出集复跑一次 RRSI。目前「分布外」这三个字有多重,全系在这一跑上;答案出来之前,evolve 集上的收益表先别单独往主表里放。

暂无表态