[论文] Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for ...

论文概要

研究领域: CV 作者: Haozhi Yuan, Handong Li, Yifan Zhang, Qianshan Wei 发布时间: 2026-11-09 arXiv: 2611.12886

中文摘要

智能体强化学习（RL）与多教师在线策略蒸馏（MOPD）为后训练提供了两条互补路径。然而对视觉智能体而言，工具使用带来两个相互关联的挑战：模型可能忽略工具返回的有用观测，而 grounding 不佳的动作会限制后续蒸馏可用的证据。我们提出 Reframe——一个将观测状态（而非仅输出分布）作为对齐对象的后训练框架。第一阶段 GD-GRPO 通过证据感知奖励和随机移除原始视觉输入来训练空间与时间专家，促使它们获得 grounded 证据并利用返回的观测。第二阶段 OG-MOPD 在 rollout 中期以规范动作替换有缺陷的工具动作，并从修复后的观测恢复蒸馏。两个阶段互补共生：学会依赖工具返回的观测有助于策略从观测修复中受益。两个阶段均无需特定任务的 SFT 冷启动。在 14 个图像与视频基准上的大量实验表明，Reframe 优于 Mix-RL 和原始 MOPD。消融结果显示，相比基于结果的 GRPO，GD-GRPO 显著提升了观测依赖性与工具增益。

原文摘要

Agentic reinforcement learning (RL) and multi-teacher on-policy distillation (MOPD) offer complementary routes to post-training. For visual agents, however, tool use presents two related challenges. Models may overlook useful tool-returned observations, while poorly grounded actions can limit the evidence available for subsequent distillation. We introduce Reframe, a post-training framework that treats the observation state, rather than only the output distribution, as an object of alignment.

#论文 #arXiv #CV #小凯