当安全监督员只会喊"停"：把稀疏停止信号变回密集成本地图的RCI框架

一个尴尬的现实

想象你是一个驾校教练，坐在学员旁边。你的工作是在危险发生时踩下副刹车——但你被禁止说话，不能在每一步告诉学员"刚才那个变道动作有点冒险"或"跟车太近了"。你唯一能做的就是：撞了，或者快撞了，踩刹车。

学员下车后，手里只有一条信息："这次开得不行，在第37秒停了。"

他该怎么学？

这就是安全离线强化学习面临的现实困境。理论上，安全的强化学习需要每一步都有成本标注——哪个动作危险、哪个动作安全，逐帧打分。但现实中，无论是人类监督员还是自动安全系统，都只会做一件事：在检测到违规的那一刻终止执行。一个二进制信号，一个时间戳，没了。

密集成本标注是奢侈品，稀疏停止反馈才是现实。

信用分配的幽灵

这个问题有个学名：时序信用分配问题（temporal credit assignment problem）。

一辆自动驾驶汽车在高速公路上行驶了60秒，第47秒发生了碰撞。监督系统给出一个停止信号。但到底是第47秒的哪个动作导致的？是第3秒那次变道埋下的隐患？是第20秒跟车距离缩短开始的连锁反应？还是第45秒那个看似无害的微调方向盘？

你不知道。你只有一个"第47秒停了"的标签。

在在线强化学习里，这个问题可以通过反复试错来缓解——多跑几次，统计哪一步的动作和事故相关。但离线强化学习没有这个奢侈：你只有一个固定的历史数据集，每条轨迹都是一次性的。你不能重播那个场景看看换一个动作会怎样。

更糟糕的是，离线数据集还面临分布偏移（distributional shift）——学到的新策略可能走出数据集没见过的状态，让价值估计变得不可靠。

稀疏反馈 + 一次性数据 + 分布偏移 = 安全离线RL的三重困境。

RCI：把一个终点拆成一路路标

Ebenezer Gelo、Geraud Nangue Tasse和Steven James（开普敦大学）提出的RCI框架（Redistribution-based Cost Inference），核心思路出奇地简洁：

既然只有终点标签，那就把终点的成本"分摊"回去，给每一步都估算一个成本。

这就像事故调查员在分析空难时，不会只看坠机那一刻。他们会把黑匣子数据倒回来，逐步分析每个决策点对最终事故的贡献——起飞前的检查疏漏、航路上的天气误判、降落时的操作失误，每个环节分到不同的责任权重。

RCI的三阶段流水线：

第一阶段：收集停止反馈。 对每条轨迹，专家只提供一个二进制标签——安全（0）或不安全（1）。不安全的轨迹在首次违规的时间点被截断。这模拟了现实中的安全监控：人类监督员或自动系统在检测到违规时立即终止执行。

第二阶段：回报分解。 这是RCI的核心魔法。它把轨迹级别的二进制标签，通过回报分解（return decomposition）方法，转换为每一步的密集成本估计。具体实现用的是RUDDER——一种用LSTM序列模型学习每步贡献的方法。RUDDER的思路是：如果一条轨迹最终出了事，那么LSTM要学会回溯，把"出事"这个总成本分配到每一步上。

第三阶段：约束离线策略学习。 拿到密集成本估计后，任何标准的约束离线RL算法都能用。论文用的是BCQ-Lagrangian——在BCQ（Batch-Constrained Q-learning）的基础上加拉格朗日乘子来约束成本。

关键在于模块化：第二阶段的回报分解方法可以替换（RUDDER、GRD都行），第三阶段的策略学习算法也可以替换（BCQ-Lagrangian、CPQ、CDT都行）。RCI不是一个新的算法，而是一个框架——把"稀疏反馈转密集成本"和"安全策略学习"解耦成两个独立问题。

为什么这在理论上是合法的？

把稀疏成本"重分布"成密集成本，听起来像是在无中生有地创造信息。但RCI证明了一个关键定理：回报等价的重分布保持了CMDP的可行策略集和最优拉格朗日量。

什么意思？

CMDP（约束马尔可夫决策过程）的目标是：最大化回报，同时保持期望累积成本低于某个预算$d$。可行策略集就是所有满足成本约束的策略。最优拉格朗日量是拉格朗日松弛后的鞍点。

RCI证明：只要重分布是"回报等价"的——即重分布后的每步成本之和等于原始轨迹成本——那么可行策略集和最优拉格朗日量都不变。

这就像把一笔总税款分摊到12个月 vs 一次性缴纳——只要总额一样，你的年度税务负担不变，最优投资策略也不变。改变的是信息的表现形式，不是信息本身。

但形式的变化对学习算法有巨大影响。稀疏成本让评论家网络（critic）很难学——大部分时间成本信号都是0，只有终点突然跳一个1，梯度信号极不稳定。重分布后的密集成本，每一步都有一个平滑的数值，评论家网络的学习变得良态（well-conditioned）。

理论上无损，实践上更友好。

高速公路和机械臂

实验在两个环境上做：

HighwayEnv：自动驾驶场景，一辆车在高速公路车流中穿行，目标是快速到达目的地同时避免碰撞。数据集由PPO训练的行为策略生成——这些策略优化了速度奖励但完全无视安全，所以是激进的"马路杀手"驾驶风格，频繁碰撞。

Safe-FetchReach：7自由度机械臂够取目标位置，同时要避开一个球形危险区域。行为策略同样只优化任务奖励，不管安全。

两个环境都用了三种数据集组成：纯激进策略生成的数据、纯随机策略生成的数据、以及两者等比例混合的数据。

三个对手

RCI和三个基线比较，全部在相同的BCQ-Lagrangian架构下：

1. Reward-Only：完全忽略安全成本，预算设为无穷大。这是"不管安全只管跑"的下限。

2. Sparse：用原始的终点成本标签——只有终止那一步有成本1，其他都是0。这是"有安全意识但没信用分配"的基线。

3. Hazard：训练一个双头分类器$\tilde{c}(s_t, a_t) = P_1(s_t, a_t) + P_2(s_t, a_t)$。$P_1$预测这个状态-动作对是否出现在任何不安全轨迹中，$P_2$预测它是否是不安全终止点。用focal loss解决类别不平衡。这是"用分类器猜每步成本"的基线。

结果：违规率降五倍

在HighwayEnv的混合数据集上：

• RCI vs Sparse：RCI的违规率大幅降低，同时任务回报没有显著下降。统计检验显示RCI和"完全不管安全"的Reward-Only在回报上没有显著差异（t=0.9962, p>0.05），但违规率远低于Sparse。
• RCI vs Hazard：Hazard分类器虽然能学到一些信号，但在异构数据集（混合策略生成）上表现不稳定——因为不同行为策略生成的状态分布不同，分类器容易混淆"状态分布差异"和"安全风险"。
• 鲁棒性：RCI对数据集组成（纯激进/纯随机/混合）和标签噪声都有鲁棒性。即使10%的轨迹标签被翻转，RCI仍然显著优于基线。

为什么这很重要？

RCI的意义远超安全离线RL本身。它揭示了一个更普遍的原理：

监督信号的颗粒度，不一定要和任务需求的颗粒度一致。

安全策略需要每步成本来学习，但监督只需要给轨迹级别的停止信号。中间的"颗粒度转换"可以由回报分解自动完成。

这和章鱼的RNA编辑是同一个道理——DNA（蓝图）不需要在每个细胞里都改，RNA（施工图）在推理时按需修改就够了。蓝图和施工图的颗粒度不同，但最终造出来的蛋白质是一样的。

RCI也是：监督信号的颗粒度（轨迹级）和学习信号的颗粒度（每步级）不同，但通过重分布转换后，最终学到的策略和有密集标注时一样好。

监督的颗粒度 ≠ 学习的颗粒度。中间的桥，由回报分解来搭。

局限与诚实

论文诚实地列出了三个局限：

1. 覆盖性要求：RCI继承了离线RL的标准要求——如果数据集偏向不安全轨迹，策略会过度保守；如果安全覆盖太稀疏，策略优化会欠定。

2. 统计而非因果：重分布捕捉的是轨迹前缀和违规之间的统计关联，不是因果关系。它识别"风险情境"，但不一定能找出"因果上有害的动作"。

3. 单约束限制：目前只支持单一二元约束。多约束扩展（通过每通道分解）是直接的，但如何平衡竞争性目标仍是开放问题。

结语

RCI告诉我们一个反直觉的事实：停止反馈在信息上是充分的。 更丰富的监督模态不是前提条件。

驾校学员手里那条"第37秒停了"的信息，理论上足够学会安全驾驶——前提是你知道怎么把一个终点拆成一路路标。

这或许是最深层的洞察：很多时候，我们以为需要更多信息，其实只是需要更好的信息转换方式。监督的稀缺不是瓶颈，转换的缺失才是。

---

论文：Redistribution-based Cost Inference Improves Sparse Safe Offline RL 作者：Ebenezer Gelo, Geraud Nangue Tasse, Steven James arXiv：2608.12306 代码：未开源