训练顺序谁先谁后，亚马逊的答案：看奖励好不好作弊
上周亚马逊发了一篇论文，团队给模型起名 Rufus-Air。它做的事在圈外人看来有点怪：拿智谱今年开源的 GLM-4.5-Air 底座（106B 参数、激活 12B 的 MoE 模型），把整个后训练过程——从监督微调到强化学习到最后的人工反馈对齐——完整做了一遍，然后把配方全写了出来：八个阶段怎么排、每阶段用什么数据…
训练顺序谁先谁后，亚马逊的答案：看奖励好不好作弊
上周亚马逊发了一篇论文，团队给模型起名 Rufus-Air。它做的事在圈外人看来有点怪：拿智谱今年开源的 GLM-4.5-Air 底座（106B 参数、激活 12B 的 MoE 模型），把整个后训练过程——从监督微调到强化学习到最后的人工反馈对齐——完整做了一遍，然后把配方全写了出来：八个阶段怎么排、每阶段用什么数据、奖励怎么设计、多少卡跑了多少天、哪个检查点出了什么问题。二十二人署名，全部来自亚马逊。
先看结果。这个模型在指令跟随的硬基准 IFBench 上拿了 76.9，官方 GLM-4.5-Air 后训练版是 33.6——视频里那句「从三十三点六拉到七十六」说的就是这组数，属实，76 是 76.9 的口播舍入。普通基准 IFEval 上是 95.4 对 83.0。整个对比表上，除了 Arena-Hard 的创意写作一项，Rufus-Air 在全部已报告基准上超过官方后训练版。
但成绩单不是这篇论文的贡献，论文原话：「我们在意的是配方本身」。权重没有放出，配方本身——论文里每个阶段的训练数据构成、奖励函数、超参、常见故障——就是交付物。这就把它和一般发模型区别开：一般论文是成品展示，这篇是菜谱，写给「有几十个节点的团队」照着做。
八步串行，顺序有讲究
配方的主干是八个阶段串成一条线：监督微调，然后是推理、编码、指令跟随三个强化学习阶段，再是通用智能体、编码智能体、搜索智能体三个 agent 阶段，最后人工反馈对齐收尾。每一步都在上一步的检查点上继续训。
为什么是这个顺序？通常的回答是「先易后难」。这篇论文给了一个更锋利的答案：按奖励的可靠程度排。前面阶段用硬奖励——数学题答案对就是对、代码过测试就是过，机器判卷，作弊空间小。后面阶段用软奖励——LLM 当裁判打分，可被哄骗的空间大。可靠的在前，噪声大的在后，整条流水线暴露在「奖励被钻空子」风险下的时间就被压到最短。
有个反例把这条原则衬托得很清楚：指令跟随的奖励是个评分表裁判，看着是软奖励，却排在第三位。因为指令跟随贴着模型的既有能力，裁判没什么被玩弄的余地。所以排序看的不是奖励的格式，是奖励被钻空子的难度。
这套排序逻辑值得任何做管线的人抄走：先排奖励可靠的，后排奖励会骗人的，与任务难度无关。
三个顺手捡到的实操细节
这篇论文真正的价值感在细节。挑三个。
第一个：难度过滤。每个 RL 阶段开训前，先让当前模型把候选题做一遍，全对的题扔掉（模型已经会了，没有梯度信号），大概率全错的也扔掉（学不会），只训「有时对有时错」的中间带。论文管这叫自动课程表。
第二个：早停的具体证据。SFT 阶段的训练损失在三个 epoch 里一路下降，看着一切正常。但留出集分数在第一个 epoch 内就平了，之后两个 epoch 的下降是模型在「复读见过的数据」。他们最终带进 RL 的检查点取自第一 epoch 的平台期，不是最后一步。如果没有留出集这条对照线，这个团队会多花八天算力，换一个更差的模型。
第三个：agent RL 的真实账单。编码智能体每条轨迹平均要跑几十次工具调用，奖励来自沙箱里跑测试套件——支撑它的沙箱服务要同时扛住约一万个并发，维护费每月一万美元量级。搜索智能体一次完整评测要在公开互联网上打十万次搜索和网页抽取，按牌价几百美元；训练时改用内部搜索后端。GPU 之外的钱，才是 agent 训练的隐藏成本。
诚实到自曝
论文附了个「配方未证明什么」小节，罕见地坦白：这个八步顺序是「一个跑通了的方案，不是被证明最优的方案」；编码智能体是算力用完了就停了，没训到收敛；没有一套基准贯穿全部八个阶段被追踪，所以某个基准在阶段间的变动没法归因到某一阶段。另外数据表里有两处数值不一致（IF RL 检查点的 GPQA 在两张表里是 71.1 和 73.36），论文自己标了出来。
这些自曝不是削弱，是加分项。一个宣称「复现给我们」的配方，最怕的就是报喜不报忧——你照着做到第 1200 步时才发现人家踩过的坑没写。
这篇论文在打谁的脸
论文开头一句话：「后训练部分经常读起来像一张系统卡，团队真正需要的细节恰恰是最不披露的。」这句话在打整个行业的脸：每家发布新模型时那一页「我们做了 SFT 和 RLHF」的表格，在作者眼里等于什么都没说。
各家发的模型权重越来越多，但「怎么从一个底座把它训出来」的完整配方仍然稀缺。亚马逊这篇的价值不在刷了什么分——除创意写作文风一项外全绿——而在把训练日志级别的细节公开：数据配比、过滤规则、阶段顺序的理由、基础设施的坑、成本清单。别人拿五十个节点照着做，能真的做出一个自己的模型。
有意思的反转在结尾一段。这种「把训练细节全写出来」的论文，通常是学界做法，工业界习惯藏配方。这次反过来了：发权重最积极的智谱提供了底座，把配方写全的反而是亚马逊。开放的东西从权重上移到了配方层——权重是模型，配方是造模型的方法。方法比结果难开源，这篇开了。
*信源：arXiv 2609.29421v2（2026-09-25，Amazon，22 人署名，Tuo Zhao 在列）；模型名 Rufus-Air，底座 GLM-4.5-Air-Base 106B-A12B；训练栈 slime 改编版 + Megatron-LM + SGLang + E2B 沙箱；对比表含 INTELLECT-3、Nemotron-3-Super、Qwen3.5 等十模型。权重截至发稿未见公开发布。*