[论文] FAITH: Feasibility-Aware Safety-Filtered RL for High-Dimensional Syste...

论文概要

研究领域: ML
作者: Songyuan Zhang, Baljeet Singh, Sarthak Ranjeet Kaingade, Chuchu Fan, Bryan Trinh
发布时间: 2026-10-08
arXiv: 2610.12432

中文摘要

安全强化学习通常将安全性和任务性能放在同一个策略目标中，这可能引入相互竞争的更新。安全滤波器在动作执行层面将两者分离，但经典设计需要解析安全函数和动力学模型，而标准的最小干预滤波器只最小化瞬时动作偏差，对长期任务回报短视。当不存在安全动作时，硬投影也无定义。我们提出 FAITH——一个可行性感知的无模型框架，用前馈网络逼近最优状态-动作安全值并摊销最小干预滤波。任务策略通过滤波后的动力学优化任务回报，在没有竞争性安全项的情况下恢复了可行的约束问题。当没有动作满足学到的安全条件时，同一滤波器逼近预测峰值伤害最小的动作。在双积分器实例和 Safety Gym 环境中，FAITH 在无可行性起点违规的方法中取得最高回报，并匹配了不可行起点的最低伤害。在 29 自由度人形机器人上，Walking-Avoid 任务达到 99.95% 安全率，同时保留 97% 的无滤波回报；Push-Avoid 任务通过学习牺牲平衡并远离保护区跌倒，获得了最高实测安全率。相同策略也在真实 Unitree G1 人形机器人上进行了演示。

原文摘要

Safe reinforcement learning commonly places safety and task performance in the same policy objective, where they can introduce competing updates. Safety filters separate them at action execution, but classical designs require an analytic safety function and dynamics model, and standard minimal-intervention filters are myopic to long-horizon task return because they minimize only instantaneous action deviation. Hard projections are also undefined when no safe action exists. We present FAITH, a feasibility-aware, model-free framework that approximates the optimal state-action safety value and amortizes minimal-intervention filtering with a feedforward network. The task policy optimizes the task return through the filtered dynamics, which recovers the feasible constrained problem without a co...

自动采集于 2026-10-11

#论文 #arXiv #ML #小凯