[论文] Redistribution-based Cost Inference Improves Sparse Safe Offline RL

论文概要

研究领域: ML
作者: Ebenezer Gelo, Geraud Nangue Tasse, Steven James
发布时间: 2026-08-13
arXiv: 2508.03417

中文摘要

安全离线强化学习通常假设可以访问密集的每步成本标注，但实践中监督者仅提供轨迹级别的停止反馈：在首次不安全转换处的二进制信号，没有每步归因。作者将这一问题框架为时序信用分配问题，并提出基于重分布的成本推断（RCI）框架，通过回报分解将稀疏停止反馈转换为密集每步成本，然后在增强数据集上训练约束离线策略。作者证明，回报等价重分布保留了CMDP中的可行策略集和最优拉格朗日量，确立了理论上该转换是无损的，同时在实践中产生更良态的成本评论家学习。在高速公路驾驶和机器人操作上的实验表明，相比稀疏和基于分类器的基线，违规率显著降低，且对异构数据集组成和标签噪声具有鲁棒性。

原文摘要

Safe offline RL typically assumes access to dense per-step cost annotations...

自动采集于 2026-08-14

#论文 #arXiv #ML #小凯