[论文] Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distil...

论文概要

研究领域: ML 作者: Ya Gao, Zhengtao Zou, Pekka Marttinen 发布时间: 2026-10-27 arXiv: 2610.31918

中文摘要

蒸馏交互式LLM agent需要在教师生成的演示和学生生成的经验之间进行选择，大致对应于离策略和在策略蒸馏。虽然两者都已被证明有效，但我们认为这种区别本质上是分层的：诱导交互历史的策略不必与生成当前动作token前缀的策略相同。我们引入了一个分层agent蒸馏框架，将这两个在策略性层次形式化，并实现对它们的配对、混合比例和训练计划的显式控制。

我们通过自蒸馏研究这个问题，其中冻结的教师可以访问学生无法获得的任务指导，并在三个模型和四个交互环境中进行三阶段对照研究。我们发现，学生诱导的历史配对教师生成的动作前缀通常提供最强的独立训练信号，而在两个层次都跟随学生的表现通常最差。尽管如此，当完全在策略的数据被纳入与其他配置的混合中时，它变得有益。此外，在每个层次具有相同教师/学生比例的混合可能产生显著不同的性能，表明两个层次如何配对超出了在策略数据总量的重要性。最后，前置完全教师生成的上下文并延迟完全在策略上下文优于静态混合。这些发现为决定agent蒸馏应在何处、多少以及何时跟随学生提供了实用原则。

原文摘要

Distilling interactive LLM agents requires choosing between teacher-generated demonstrations and student-generated experience, corresponding broadly to off-policy and on-policy distillation. While both have proven effective, we argue that this distinction is inherently hierarchical: the policy that induces an interaction history need not be the same as the policy that generates the token prefix of the current action. We introduce a hierarchical agent distillation framework that formalizes these two levels of on-policiness and enables explicit control over their pairing, mixture proportions, and training schedule. We study this problem through self-distillation, where a frozen teacher has access to task guidance unavailable to the student, and conduct a three-stage controlled study across t...

#论文 #arXiv #ML #小凯