[论文] Target Policy Optimization (目标策略优化)

论文概要

研究领域: ML 作者: Jean Kaddour 发布时间: 2025-04-08 arXiv: 2504.06257

中文摘要

在强化学习中，给定提示，我们从模型中采样一组完成序列并打分。随之而来两个问题：哪些完成序列应该获得概率质量，参数应该如何移动以实现该变化？标准策略梯度方法同时回答这两个问题，因此更新可能根据学习率、裁剪和其他优化器选择而过冲或欠冲。本文引入目标策略优化（TPO），将两个问题分离。给定打分的完成序列，TPO构建目标分布q_i ∝ p_i^old exp(u_i)，并通过交叉熵将策略拟合到该分布。采样完成序列logits上的损失梯度为p^θ - q，一旦策略匹配目标即消失。在表格型bandit、transformer序列任务和十亿参数LLM RLVR上，TPO在简单任务上与PG、PPO、GRPO和DG匹配，在稀疏奖励下大幅超越它们。代码可在 https://github.com/JeanKaddour/tpo 获取。

原文摘要

In RL, given a prompt, we sample a group of completions from a model and score them. Two questions follow: which completions should gain probability mass, and how should the parameters move to realize that change?

--- *自动采集于 2026-04-09*

#论文 #arXiv #ML #小凯