带安全带的探索：PGP 如何在约束条件下找到全局最优

作者：小凯 | 来源：arXiv:2604.28144v1 [cs.LG] | 机构：Caltech, ETH Zurich

一、悬崖边的探索者

想象你是一名探险家，站在一片未知大陆的入口。你的目标是绘制整张地图——每一个角落、每一条河流、每一片森林都要走到。但你身上绑着几条安全绳：

• 安全绳 A：悬崖区域不能进入（安全约束）
• 安全绳 B：每天只能走 20 公里（资源约束）
• 安全绳 C：不能偏离向导的路线超过 500 米（模仿约束）

这就是约束最大熵探索（Constrained Maximum-Entropy Exploration）的核心场景。在强化学习中，"最大熵探索"意味着让智能体尽可能均匀地访问所有状态-动作组合，以获得对环境的全面了解。但现实中，这种探索从来都不是无约束的。

问题是：如何在绑着安全绳的情况下，仍然画出最完整的地图？

二、现有方法的盲区

模型派：算得准，跑不动

Agarwal 等人（2022）和 Bai 等人（2023）走了"模型派"路线：显式计算状态-动作占用度量（occupancy measure），然后在这个凸空间里优化。好处是有理论保证，坏处是——占用度量需要枚举所有状态-动作对。

在连续控制任务里，状态和动作空间是无限的，这招直接报废。就像你要绘制一片无限细节的地图，模型派要求你先算清每一个像素的颜色，然后才能决定走哪条路。

策略梯度派：能跑，但没保证

Ying 等人（2025）走了另一条路：直接在策略参数空间里跑策略梯度。这招能 scale 到神经网络策略，但他们的理论保证只有弱遗憾（weak regret）和遍历平均（ergodic averages）。

用大白话说：如果你跑 1000 轮迭代，取平均可能还不错，但最后一轮输出的那个具体策略，既不保证接近最优，也不保证满足约束。这在实际部署中是致命的——你不能上线一个"平均表现还行"的策略，你需要的是一个可部署的、单轮就能用的、既接近最优又几乎满足约束的策略。

三、PGP：惩罚的艺术

PGP（Policy Gradient Penalty）的方法出奇地简洁，但背后的数学非常精巧。

3.1 二次惩罚：把约束变成"软成本"

PGP 不引入对偶变量（dual variables），也不搞内外循环。它直接把约束违反的平方作为惩罚项，加到目标函数里：

min P(θ) = -F1(θ) + β · [F2(θ)]²₊

其中：

• F1(θ) 是最大熵目标（要最大化，所以取负号变成最小化）
• F2(θ) 是约束函数（≤ 0 表示满足约束）
• [·]²₊ 是平方正部（约束违反时才罚，满足时不罚）
• β 是惩罚系数

这就像探险队的规则："每偏离安全路线 1 米，扣 1 分；偏离 2 米，扣 4 分。" 偏离越远，惩罚指数增长。智能体在探索（最大化熵）和守规矩（最小化惩罚）之间自动寻找平衡。

3.2 伪奖励：单条轨迹搞定一切

这是 PGP 最漂亮的算法设计。

在传统随机优化里，惩罚项的梯度需要分别估计函数值和梯度，然后套链式法则。这通常需要多条轨迹或辅助函数值评估，引入偏差和额外样本复杂度。

PGP 的洞察是：强化学习有 Policy Gradient 定理。这个定理说，任何关于占用度量的光滑函数的梯度，都可以写成"带伪奖励的策略梯度"。

具体来说：

1. 先采样一批轨迹，估计当前占用度量 λ̂
2. 计算约束函数的梯度 ∇λ F2(λ̂)
3. 把这个梯度向量当作伪奖励向量 r
4. 用 REINFORCE 估计 ∇θ F2(θ) = ∇θ V^πθ(r)

于是，惩罚项的梯度、目标函数的梯度，全部统一成策略梯度，用同一批轨迹就能无偏估计。没有额外的函数评估，没有复杂的对偶更新，没有内外循环。

3.3 Hidden Convexity：非凸外表下的凸灵魂

PGP 能给出全局收敛保证的关键，在于一个叫做**隐凸性（Hidden Convexity）**的结构。

在策略参数空间 θ 里，目标函数看起来是非凸的（softmax 参数化引入非线性）。但如果你把视角切换到占用度量空间 λ，就会发现一个奇妙的事实：

• 最大熵目标 H(λ) 是严格凹函数
• 安全约束 R(λ) 是凸函数
• 策略参数化 θ → λ(θ) 是局部双射（在满足 mild 条件下）

这意味着，虽然你在参数空间里走的是一个弯曲的流形，但这个流形的"内在几何"是凸的。PGP 的惩罚方法在参数空间里运行，但借助隐凸性，可以把占用度量空间里的凸收敛分析"翻译"回参数空间。

四、理论：为什么 last-iterate 很重要

4.1 遍历平均 vs 最后迭代

很多优化算法的保证是这样的：

"跑 N 轮之后，取所有迭代的平均，误差 ≤ ε。"

这在理论上很漂亮，但在工程上很尴尬。你不能上线一个'平均策略'。深度神经网络的参数平均（model soup）在某些场景有效，但策略网络的参数平均通常没有良好定义——两个好的策略的参数平均，可能对应一个很差的策略。

PGP 给出的保证是**最后迭代（last-iterate）**的：

"跑 N 轮之后，最后一轮输出的那个具体策略，同时满足：

• |F1(θ_N) - F*| ≤ ε（接近最优熵值）
• [F2(θ_N)]₊ ≤ ε（约束违反不超过 ε）"

这才是工程师能拿去直接部署的保证。

4.2 样本复杂度

在强对偶性假设下（比 Slater 条件弱得多），PGP 的样本复杂度是 Õ(ε⁻⁶) trajectory rollouts：

• 迭代次数 N = Õ(ε⁻²)
• 每轮 batch 大小 B = Õ(ε⁻⁴)
• 轨迹长度 H = Õ(log(1/ε))

作者坦承 Õ(ε⁻⁴) 的 batch 大小可能是保守估计，消融实验表明实际收敛远快于理论最坏情况。未来可以通过方差缩减技术（如 Barakat et al. 2023）进一步降低。

五、实验：FrozenLake 上的对决

5.1 Gridworld：理论验证

在 FrozenLake 环境（网格世界）中，智能体要最大化熵（尽可能均匀访问所有格子），同时满足线性安全约束（不能踩到某些危险格子）。

PGP vs PDPG（Ying et al. 2025 的原始-对偶策略梯度）：

• PGP：约束满足稳定，熵值略低于无约束最优（合理，因为约束限制了可行区域），但始终在安全区域内。
• PDPG：约束附近剧烈振荡。原始-对偶方法的迭代在约束边界上来回跳动，这正是 weak regret 保证的代价——平均可能还行，但每一轮单独看都不靠谱。

5.2 连续控制：走出表格

PGP 进一步在连续状态-动作空间的控制任务上验证，使用函数近似（神经网络）和最大似然占用度量估计。这是模型派方法根本无法触及的领域。结果表明 PGP 能够稳定 scale 到高维连续任务。

六、一句话总结

PGP 的核心启示是：有时候，惩罚比约束更优雅。 与其在对偶空间里艰难地求解拉格朗日乘子，不如把约束违反变成成本的平方，然后利用强化学习的特殊结构（Policy Gradient 定理）把惩罚梯度也变成策略梯度。隐凸性保证了全局收敛，单循环结构保证了工程简洁，最后迭代保证保证了可部署性。

在悬崖边探索时，重要的不是你能不能飞（无约束最优），而是你能不能系好安全带 still 走到最远的地方。

参考链接

• 论文原文：https://arxiv.org/abs/2604.28144

标签： #深度研究 #小凯 #强化学习 #约束优化 #策略梯度 #探索 #Caltech #ETHZurich