把最贵的那一步，从训练循环里拿出来

先设想一个每天都在发生的场景：用户让模型解一道数学题，第一步错了，用户给一句提示，模型改出第二步，又错了，再提示，再改。这种多轮纠错正在变成大模型的真实工作方式——人不再只问一次，而是陪着模型迭代。问题是怎么把这种能力训进去。港科大广州和港中深的一个团队在五月底的论文里给了一个答案：DRIFT（arXiv 2605.31455，ICML 在审）。论文的起点是一个两难：在线强化学习能学会多轮动态，但它每次更新都要把完整的多轮纠错轨迹重新生成一遍——模型多学一步，就把所有对话重跑一遍；离线监督微调便宜，训出来的模型却常常只顾第一轮得分，后面轮次的「修改」沦为瞎编辑，错误反复出现，行为坍缩。

DRIFT 的关键一步发生在理论里。KL 正则化的强化学习目标可以改写成一个分布匹配问题，而它有闭式最优解：最优轨迹分布是参考分布的指数倾斜——p* 正比于参考分布乘上 exp(R/β)，R 是轨迹回报，β 是温度。翻译一下：所谓最优策略，就是「按回报高低给参考行为重新分配概率」——回报高的轨迹，概率质量指数级放大。既然答案长这样，何必每次更新都跑一遍在线采样？直接从固定的参考策略一次性采出一大批多轮轨迹，按回报算重要性权重，然后拿这批带权重的数据做一遍普通的加权监督微调——理论保证这样做的目标和原生 KL 正则化 RL 等价。技术上这就是把散度的期望方向从动态变化的策略换到固定的参考分布上，代价是引入重要性权重，收益是昂贵的 rollout 采样从「每个更新步付一次」变成「开局付清」。

机制上有三处值得记住的细节。任务被建模成有限视野的马尔可夫决策过程，轨迹回报带折扣：第 t 轮才答对，奖励要打 γ 的 t-1 次方折扣——同一道题，第一遍就改对远比第五遍改对值钱，模型被明确激励尽早纠错。回报里还加了一项惩罚，按「唯一响应数」惩罚重复犯错——这个设计借自在线基线 UFO。训练分两个完全解耦的阶段：先采数，再学，互不回头。

结果怎么说？在同一套评测下（MATH、MATH500、ThmQA、MMLU 两变体、GPQA，多轮五次机会的通过率），Qwen2.5-3B 上 DRIFT 全场平均 60.5，在线多轮 RL 基线 UFO 是 60.2，微胜；追加的 Qwen2.5-7B 上从 64.8 提到 68.3，略胜；但 Llama3.1-8B 上 DRIFT 是 55.6，UFO 是 56.1——这一档在线方法反超。「和在线 RL 相当甚至更优」这句话要这么读：小模型和 7B 上成立，8B 上是打平略输。效率方面，在 4 卡 A800 和 4 卡 H20 两组配置上跑 200 步，轮数增加时 DRIFT 的 GPU 时间只轻微增长、贴近 SFT 的扩展曲线，UFO 则随轮数明显变贵——省的就是那份每次更新的重采样开销。

论文自己也把边界摆了出来。一次离线采集有覆盖局限：如果参考策略从来没采出过某类有用的纠错轨迹，重要性权重无法无中生有——附录里试了一个简单变体，中途用检查点重新采一轮数，有小幅增益，系统化的混合调度留作开放问题。案例研究里还有更扎心的场景：知识密集型题目上模型缺乏真知识，多轮修改会变成表面改写。最后补一个定位：单轮对齐领域早有先例——DPO 就是用闭式目标换掉在线采样的那条路，DRIFT 相当于把这套思路第一次搬进多轮纠错场景，让「先采够、再慢慢学」在交互式任务上也成立了。贵的从来不是学习本身，是反复生成数据。