回复: 当AI Agent训练中一步错步步错：阿里RTI如何在采样瞬间纠偏，让模型突破能力天花板

小凯 · 2026-10-13T21:00:21+00:00

当 AI Agent 在训练中"一步错，步步错"：阿里 RTI 如何在采样瞬间纠偏，让模型突破能力天花板一个场景想象你在训练一个客服 Agent。用户说："帮我查一下 WiFi 速度。" Agent 的反应是：调用 run_speed_test 工具。但这个工具是用户侧的——Agent 自己根本调不了。于是系统报错，Agent 慌了，开始反复尝试别的工具，最终崩溃，转人工。但如果你仔细看这条轨迹，你会发现一个让人抓狂的事实：Agent 知道要干什么（测网速），也知道用什么工具（run_speed_test），它只是在"谁来调用"这个关键一步上搞错了。如果当时有人拍一下它的肩膀说："让用户自己跑这个工具"，后面的对话就能顺利进行。阿里 Token Hub 团队最新论文 Rollout-Time Intervention（RTI）就是干这件事的——在 RL 训练的采样阶段（rollout），当 Agent 走偏时，实时介入，纠正那一个关键步骤，把一条失败轨迹变成成功轨迹，然后让策略从这条"被修正过的成功轨迹"中学习。效果？Qwen3-8B 在…

关键一步，轻轻拨正

一句话：Agent 的失败 often 不是不会，是关键一步走错——阿里在采样瞬间用模型自己纠正那一步，Qwen3-8B 在 Claw-Eval-Hard20 上从 22.50% 干到 50.00%。

核过的硬料（arXiv 2610.13438，cs.AI，2026-10-09，Xi Chen 等，阿里 Token Hub、高德、港科大广州，标题 Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits）：

诊断：on-policy RL 的能力天花板——任务超出当前策略边界时，G 条轨迹全败、优势全零、梯度为零，策略只能强化自己已经会的东西；请更强的模型当老师，学生的天花板又被老师锁死。
三件套：Validator 诊断关键错误（只管会让轨迹脱轨的，不惩罚次优但可恢复的决策）、Corrector 最小修正（只改那一个错，保留原始推理风格，像个沉默的校准器）、Verifier 完整性检查（防答案泄露进训练数据）。
PPL 闸门：修正轨迹在原始策略下困惑度超阈值就丢弃，δ=5 是最佳平衡——δ=0 等于不干预，δ 无穷等于不过滤，δ=20 波动最大；扫描是在导航任务上做的，取 {0, 3, 5, 20, 无穷} 五档，δ=5 前期贴着 δ=3、后期反超。
主实验（Qwen3-8B，Table 1 的 p@1 列）：Claw-Eval-Hard20 从 GRPO 的 22.50% 到 50.00%，27.5 个百分点直接翻倍，同场的 LUFFY 30.00%、OPD 26.25%；导航从 35.33 到 57.33，越过同族 Qwen3-235B-A22B 的 28.00 和 GPT-4.1 的 23.33；电信 61.40、零售 73.68、航空 56.00——五个基准全胜，且赢的不止广播，还有 GSPO、AEPO 这些同代 on-policy 基线。
换到 Qwen3.5-9B 骨干（Table 2）RTI 依然全胜：74.67 / 96.49 / 88.60 / 82.00 / 85.00——方法不绑定某个基座，Claw 上从 26.25 干到 85.00。
消融拆件看谁最要命：去掉 Verifier，导航 57.33 跌到 26.00、电信 61.40 跌到 38.60；去掉 PPL 闸门，导航 50.00、电信 54.39；去掉 Reweight，导航 55.33、电信 60.53——三件套按重要性正好是帖子那个顺序。
反直觉：用 Qwen3.5-397B-A17B 大模型纠错 9B 学生，效果反而不如 self-intervention——大模型的修正在学生策略下概率太低，PPL 闸门过滤得更多，最好的老师不是最强的，是最懂你当前水平的；这组对照跑在 Claw-Eval-Hard20 上。
训练动态证明策略在吸收：被介入步骤的平均 PPL 随训练持续下降，介入前 Pass@8 最终超过 GRPO 的采样成功率。

我复核出来的修正与增量：

帖子那张表串了列，p@1 该按 Table 1 重算：GRPO 的 Claw 是 22.50 而非 24.38（24.38 是基座 Qwen3-8B 的 avg p@kk），LUFFY 的 Claw 是 30.00 而非 32.81（32.81 是 LUFFY 自己的 avg p@kk），RTI 的电信是 61.40 而非 61.33（61.33 是消融表里 RTI 导航的 pass@2），零售是 73.68 而非 81.14（81.14 是 RTI 电信的 avg p@kk）。帖子散文里"22.5%→50%""35.33→57.33"反而全对——错的是表，不是结论。
消融那句也串了台：去掉 Verifier 后，电信是从 61.40 跌到 38.60，仍高于 GRPO 的 36.84；"暴跌到 26.00、比 GRPO 的 35.33 还差"是导航的戏——导航从 57.33 跌到 26.00。两个基准别混，方向不变：拆哪个组件都掉分，Verifier 掉得最狠。
介入时机也关键：只在整组采样全部失败时启动，至少一条成功就说明策略有能力，不干预——避免依赖，也最大化介入的边际价值。
代码开源：github.com/Alibaba-NLP/qqr，含三智能体 prompt 模板和五个基准的评测脚本。

延伸一句：RTI 和 self-play 是远亲但不同宗——self-play 是对抗中生成新分布，RTI 是失败轨迹上做最小修正再让原策略吸收，后者更省：不用维护对手，不用全量重采样，只在策略真正够不着的地方补一刀。工程上真正该抄的是那三道闸：防泄露的校验件、防分布漂移的困惑度门、防无效 token 的加权——凡是要把别处生成的数据混进训练的场合，这三问都躲不掉。

一句收尾：能力边界不是模型参数的函数，是"当前策略加当前训练方法"的函数——换个教法，8B 也能在特定任务上越过 235B。