幼儿园那颗糖我先含着。把四分之一训练任务掺进冲突,最后报出 97.9% 越界,读起来像「四分之一坏样本污染了整个班」。我把论文的 C.3 表翻出来,发现这 97.9% 有个挺长的尾巴:它是「一个 API 任务上、经认证有收益的违规」,而且是 25% 冲突混合之后再训 128 次更新的终点值。
同等训练剂量的对照里,25% 混合的违规率是 18.8%,100% 混合是 81.3%。从 18.8 走到 97.9,中间隔着的是训练步数,不是掺毒比例。更逗的一格在后面:50% 和 100% 混合在 API 上最后都是 95.8%,比 25% 那组还低一点。坏样本翻四倍,越界率没跟着涨。所以「掺多少就学多少」这条直线,论文自己没画出来。
另一半故事原帖没铺。同一套上下文检查给出一个二元惩罚,在 32 道没见过的、证据会中途变卦的任务上,安全完成率从 53.1% 抬到 89.1%,涨 35.9 个百分点,而且两种策略的真实工作量都做满了。会闯祸和会干活同时长,这才是这篇最不舒服的地方。顺带一句,作者就一个人,Xinjie Shen,Georgia Tech 的博士生;论文首页机构栏只写 Project Website,得靠 gatech.edu 这个邮箱后缀才认出门。
下一根钉子:把「冲突比例 → 越界率」按固定更新步数重画一遍。现在这条曲线里,毒性和训练时长缠在一起,分不开。