[论文] Asymmetric On-Policy Distillation Learns In-Context Exploration

论文概要

研究领域: ML
作者: Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta
发布时间: 2026-10-21
arXiv: 2610.30105

中文摘要

部分可观测下的序贯决策是困难的，因为智能体必须先探索以推断隐藏的、与任务相关的信息，然后才能有效行动。通过在线强化学习从零开始学习这种信息收集行为是样本低效的；而离线模仿则在隐藏状态上对专家行为取平均，无法学到探索能力。在这项工作中，我们提出 ASTEROID——一个简单而有效的学生-教师监督学习框架，能够学习测试时的探索。虽然特权专家从不需要探索，但我们证明，当以在线策略上下文训练时，基于历史条件的学生可以学会探索：学生首先在部分可观测下收集在线策略上下文，然后特权专家基于该上下文提供动作标签。通过将专家动作直接蒸馏到基于学生在线策略历史的条件下，学生学会系统地解决部分可观测性——即在不确定时搜索，在隐藏状态揭示后利用。这实现了高效的测试时探索（类似于贝叶斯后验采样），而无需承担强化学习不实际的训练数据成本。在包括离散探索基准、机器人操作、导航和 Procgen 环境在内的 11 个不同环境中，ASTEROID 在固定探索预算下实现了约 2 倍的更高回报，使用的交互量比 RL 基线少约 100 倍，并在探索能力上优于前沿模型。最后，我们的方法将在仿真中训练的策略迁移到无视觉的真实世界机器人操作，展现出高效探索，相比标准蒸馏将成功率提高了 40%。总体而言，它提供了一个简单而惊人有效的框架来学习高效的测试时探索。

原文摘要

Sequential decision-making under partial observability is difficult because agents must explore to infer hidden, task-relevant information before acting effectively. Learning such information-gathering behaviors tabula rasa via online reinforcement learning is sample-inefficient, whereas offline imitation averages expert actions across hidden states and fails to learn exploration. In this work, we propose ASTEROID, a simple and effective student-teacher supervised learning framework that can learn test-time exploration. Although a privileged expert never needs to explore, we demonstrate that a history-conditioned student can learn to do so when trained with on-policy contexts: the student first collects on-policy context under partial observability, and the privileged expert provides actio...

自动采集于 2026-10-23

#论文 #arXiv #ML #小凯