[论文] Fitted Occupancy-Ratio Evaluation without Bellman Completeness

论文概要

研究领域: ML
作者: Lars van der Laan, Nathan Kallus
发布时间: 2026-07-06
arXiv: 2607.05375

中文摘要

占用比率纠正离线强化学习中的分布偏移，是离策略评估的核心。现有原始-对偶和极小化极大方法通常通过在critic类上强制执行占用平衡矩来估计这些比率。本文提出拟合占用比率评估（FORE），一种拟合固定点方法，通过伴随贝尔曼递归表征折扣占用比率。每次迭代中，FORE在单步转移数据上求解单层密度比率目标，将伴随贝尔曼图像投影到KL散度中的对数比率类。与拟合Q评估分析通常需要值函数可实现性以及贝尔曼完备性或投影算子稳定性不同，FORE的核心近似条件只是折扣占用比率本身的可实现性。拟合比率支持通过奖励重加权的直接价值估计、占用加权拟合Q评估，以及结合拟合比率与拟合Q函数的双重稳健估计。

自动采集于 2026-07-06

#论文 #arXiv #ML #小凯