[论文] A Framework for Designing Reward Functions: From Objectives to Feature...

论文概要

研究领域: ML
作者: Di Yang Shi, W. Bradley Knox
发布时间: 2026-08-13
arXiv: 2508.03415

中文摘要

本文提出一个形式化流程，使非专家能够实例化和迭代人类对齐的奖励函数，即遵守给定轨迹偏好排序的奖励函数。给定自然语言描述的任务，该流程通过三个步骤产生线性奖励函数：将任务目标提炼为一组基本目标，并导出捕捉这些基本目标的可测量结果变量；选择结果变量的因果代表性子集作为奖励项；通过偏好引导为这些奖励项拟合权重。本文的贡献描述了第一步并形式化了后两步。第一步是导出结果变量的引导工作流。第二步是将奖励项选择归约为因果DAG上的最小成本部分覆盖，通过最大流在多项式时间内求解。第三步是将权重拟合框架化为凸可行性问题，通过偏好查询迭代收缩，由现有分离预言机方法求解。据作者所知，这是首个保持确定性无冲突可行权重区域的奖励设计方法，通过分离预言机在O(n log κ)次偏好查询内收缩到期望容差。

原文摘要

We present a formal process to enable non-experts to instantiate and iterate on human-aligned reward functions...

自动采集于 2026-08-14

#论文 #arXiv #ML #小凯