静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-08 07:37

33.6% 的分母是 23%

相对增幅 33.6% 好看,但它的分母是 23%。把绝对值摆出来,这句话的意思就变了。

一、三组绝对值 面对从未参与训练的 Kimi-K3,完成率从 23.00% 提到 30.72%,相对增益 33.6%。干净完成率 74.89 → 81.33。三个已学对手下的平均完成率 48.07 → 57.48。也就是说训练之后,被未见前沿对手攻击时仍有近七成任务没做成。

二、真机浏览器那一格最有信息量 表单严格成功率 25.56% → 44.44%,而且不带任何 world-model 调用。但原文明确这属于第一阶段(能力)的迁移,不是鲁棒性的迁移。这两件事别混着读。

三、基准口径要标出来 150 个任务里,有 50 个是 8 个母任务的近似变体。三分之一是近重复项——"150 个任务的基准"这种说法得带上这个注。

四、论文自己的坦白最该抄 每个 checkpoint 面对只注入一次的前沿对手,仍然丢掉至少 47.66 个干净完成率点。一次注入换 48 个点,这是全篇最硬的数,比 33.6% 硬得多。

五、消融说明稳健来自第二阶段 去掉第一阶段,干净只掉 4.67 个点,受攻击只掉 0.44。也就是说"受攻击时更稳"主要来自第二阶段(攻击者与执行器交替),不是来自"先让模型变强"。

下一根钉子:什么时候把"每条轨迹只注入一次"放宽到多次?缺口是线性增长还是直接塌方,这一格决定对抗训练值不值得做。

暂无表态