[论文] Q-based Variational Inverse Reinforcement Learning

研究领域: ML 作者: Ondrej Bajgar, Peter Tisnikar, Alessandro Abate et al. (5 authors) 发布时间: 2026-08-17 arXiv: 2608.16888

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Ondrej Bajgar, Peter Tisnikar, Alessandro Abate et al. (5 authors) 发布时间: 2026-08-17 arXiv: 2608.16888

中文摘要

安全有益的AI需要系统能按照人类偏好学习和行动,但手工明确指定这些偏好往往不可行。逆向强化学习(IRL)通过从专家行为推断偏好(以奖励函数表示)来解决这一挑战。我们提出基于Q值的变分IRL(QVIRL),一种新颖的贝叶斯IRL方法,通过主要学习最优Q值上的变分分布,从专家演示中恢复奖励的后验分布。与以往方法不同,QVIRL结合了可扩展性和不确定性量化,这对安全关键应用和主动学习都很重要。我们在多种任务上展示了QVIRL在学徒学习中的强劲表现,包括网格世界、月球着陆器、高速公路环境和两款ATARI游戏,同时使用静态专家数据和主动学习。这是首个展示从原始像素观测进行训练的贝叶斯IRL方法。

原文摘要

The development of safe and beneficial AI requires that systems can learn and act in accordance with human preferences. However, explicitly specifying these preferences by hand is often infeasible. Inverse reinforcement learning (IRL) addresses this challenge by inferring preferences, represented as reward functions, from expert behaviour. We introduce Q-based Variational IRL (QVIRL), a novel Bayesian IRL method that recovers a posterior distribution over rewards from expert demonstrations via primarily learning a variational distribution over optimal Q-values. Unlike previous approaches, QVIRL combines scalability with uncertainty quantification, important for safety-critical applications as well as active learning. We demonstrate QVIRL's strong performance in apprenticeship learning acro...


*自动采集于 2026-08-19*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

小

当AI学会"读心":QVIRL如何从专家行为中反推人类偏好

引子:一个不说话的老师

想象你正在教一个机器人开车。你不告诉它"红灯停、绿灯行",你只是坐在副驾,自己开了一圈。机器人默默看着你的方向盘、油门、刹车,然后它要回答一个问题:这个人类到底在优化什么?

这就是逆向强化学习(IRL)的核心问题。正向RL给你奖励函数,让你学策略;逆向RL给你专家行为,让你反推奖励函数。人类从不明确说出自己的偏好——我们只是行动。Stuart Russell在2019年提出,安全AI的三原则之一就是"AI的终极信息来源是人类行为"。IRL就是把这个原则变成算法。

但这里有个被忽视了二十年的坑:好的IRL不仅要告诉你"奖励大概是什么",还要告诉你"我有多确定"。传统方法要么给你一个点估计("奖励是0.7"),要么用MCMC采样给你后验——但MCMC在小网格世界里跑得动,到了Lunar Lander或ATARI就彻底跪了。

2026年8月,Ondrej Bajgar等人在arXiv:2608.16888提出了QVIRL(Q-based Variational IRL),第一次让贝叶斯IRL既保住了不确定性量化,又跑到了像素级观测的ATARI上。

核心洞察:别猜奖励,猜Q值

QVIRL的关键洞察可以用一句话概括:与其直接学奖励的后验,不如先学最优Q值的后验,再用Bellman方程把奖励"反推"出来。

为什么这个顺序更好?因为Q值和奖励之间有一个精确的数学关系——逆Bellman算子:

\[R(s,a) = Q^*(s,a) - \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[\max_{a'} Q^*(s',a')]\]

只要你知道了Q*的分布,奖励的分布就自然推出来了。而Q值有一个天然优势:它直接和专家的决策模型耦合。专家在状态s选择动作a的概率,可以通过Boltzmann策略建模为关于Q值的softmax。这意味着演示数据的似然函数可以直接在Q值空间上写出来,不需要反复求解正向RL问题。

这和之前的MCMC方法形成了鲜明对比。MCMC-based的ValueWalk和PolicyWalk需要反复采样奖励函数、对每个样本求解正向RL得到对应Q值、再判断这个Q值是否和专家行为一致——每一步都贵得要命。QVIRL跳过了这个"采样-求解-判断"的循环,直接用变分推断在Q值空间上做一次优化。

技术架构:一个编码器,两个输出

QVIRL的架构出人意料地简洁。一个神经网络编码器 \(\varepsilon_\theta\) 接收状态-动作对 \((s,a)\),输出三个东西:

1. 均值 \(\mu_{Q^*}(s,a)\) —— 这个状态-动作对的最优Q值大概是多少 2. 标准差 \(\sigma_{Q^*}(s,a)\) —— 我对这个估计有多不确定 3. 潜在嵌入 \(e\) —— 用于计算不同状态-动作对之间的协方差

协方差是这里的关键创新。为什么?因为Bellman方程把轨迹上的Q值耦合在一起了——\(Q(s,a)\) 依赖于 \(Q(s',a')\),所以后验不确定性不是独立的,而是相关的。如果你只建模独立方差(像AVRIL那样),你会丢失这种结构信息,导致后验过度自信。

QVIRL用一个核函数处理嵌入,生成相关矩阵,再结合方差生成完整的协方差矩阵。在离散状态空间用多元高斯,在连续空间用高斯过程。

Clark近似:绕过最大值的高斯陷阱

从Q值到奖励,需要计算 \(\max_{a'} Q^*(s',a')\)——一组高斯随机变量的最大值。这在一般情况下没有闭式解。QVIRL用了一个1961年的老技巧——Clark近似:两个高斯变量最大值的前两阶矩有闭式表达,n个变量的最大值可以通过两两迭代近似。

这个选择很巧妙。替代方案是Monte Carlo采样加重参数化技巧,但作者在初步实验中发现它不仅慢,效果还更差。Clark近似虽然是个近似,但它让训练变成了纯梯度下降,不需要采样,速度上碾压。

训练目标:似然 + KL

损失函数是标准的变分下界:

\[\mathcal{L}(\theta) = -\sum_{s,a \in \mathcal{D}}[\log p(a|s;\theta)] + \text{KL}(q_R(R;\theta) \| p(R))\]

第一项让模型拟合专家行为,第二项让奖励后验不偏离先验太远。在表格设置下KL可以解析计算;在连续空间下,KL在专家转移和辅助状态上一起评估。

实验:从网格世界到ATARI

后验质量:追平MCMC oracle

在100个随机8×8网格世界上,QVIRL的后验对数密度和90%置信区间校准度匹配了ValueWalk(MCMC采样5000次的"真值"oracle)。而AVRIL——之前的变分方法——后验远离真值,90%置信区间过度自信。

这个结果的意义在于:QVIRL用变分近似达到了MCMC的质量,但不需要反复求解正向RL。

学徒学习:全面超越

在网格世界、Lunar Lander、Highway环境上,QVIRL的学徒策略性能全面超过AVRIL。在Lunar Lander上,QVIRL的归一化回报接近最优,而AVRIL的表现明显落后。

更重要的实验是ATARI。QVIRL是第一个能从原始像素观测训练的贝叶斯IRL方法。这意味着它不再需要人工设计的特征——直接从画面里学。这在之前是不可能的,因为MCMC方法根本无法处理像素级输入。

主动学习:不确定性的真正价值

QVIRL的第三组实验最有意思:主动学习。主动IRL的核心问题是:模型应该请求专家在哪些状态下提供更多演示?这需要模型知道"自己在哪里不确定"。

之前的MCMC方法能在小网格世界上做主动学习,但无法扩展。AVRIL提供奖励后验,但主动学习的acquisition function通常需要Q值后验——AVRIL给不了。

QVIRL天然提供Q值后验,所以可以直接接入两种acquisition function:

  • Reward EIG:最大化关于奖励的信息增益
  • ActiveVaR:最小化regret风险
在网格世界上,QVIRL+Reward EIG追平了ValueWalk+Reward EIG。在Lunar Lander上(没有MCMC oracle可比),QVIRL的主动学习显著优于随机采样。

为什么这件事重要

1. 不确定性量化不是奢侈品,是安全性的基础设施

在安全关键的IRL应用(自动驾驶、机器人辅助)中,知道"我有多确定"和"我的最佳估计是什么"同样重要。一个不确定自己答案的模型会谨慎行事,一个过度自信的模型会闯祸。AVRIL的过度自信问题不是小bug——它是安全部署的showstopper。

2. Q值作为IRL的"中间表示"

QVIRL揭示了一个更深层的设计原则:在IRL中,Q值是比奖励更好的推断目标。奖励是终端产物,Q值是连接观测(专家行为)和结构(Bellman方程)的中间层。直接学奖励后验会丢失Q值空间的耦合结构;先学Q值再推奖励,结构自然保留。

这个原则可能适用于更广泛的inverse problem:找到那个既连接观测又连接结构的中间变量,在它上面做推断。

3. 主动学习的可扩展性

之前主动IRL被MCMC的不可扩展性卡死了。QVIRL把主动学习从网格世界解放到了连续状态空间。这意味着IRL系统可以主动请求帮助——"我在这个路口不确定该怎么做,能给我演示一下吗?"——而不需要人类时刻盯着。

4. 像素级贝叶斯IRL的象征意义

ATARI实验的意义不在于QVIRL在ATARI上表现多好,而在于贝叶斯IRL第一次碰到了真实世界的复杂度。从手工特征到像素,是从实验室到部署的必经之路。QVIRL走通了这条路。

局限与开放问题

论文坦诚讨论了几个局限:

1. Clark近似的精度:在动作数很多时,两两迭代的误差会累积。论文在附录中分析了这一点,但没有给出更好的替代方案。

2. 辅助状态的需求:QVIRL在只有专家数据时能工作,但推荐配合辅助状态(来自当前策略的rollout或离线非专家轨迹)。这在纯在线场景下可能是个限制。

3. 高斯假设:变分分布用高斯(或通过warp扩展的类高斯)。对于多模态后验(比如专家可能有多种合理偏好),高斯可能不够。

4. 理性系数β:Boltzmann策略的β需要设定。论文在附录E.1分析了敏感性,但自动选择β仍是开放问题。

代码

论文开源代码在 GitHub: bayesian-reward-learning/qvirl。代码包含所有实验环境的训练脚本和预训练模型。

结语

QVIRL做的事情看起来很技术——把贝叶斯IRL从MCMC换成变分推断,从奖励空间换到Q值空间。但它解决的是一个根本问题:如何让AI系统在从人类行为学习时,既保持可扩展性,又诚实地表达不确定性。

Russell的三原则里,"AI initially uncertain about preferences"和"ultimate source is human behaviour"之间有一个技术鸿沟——你怎么从行为里得到带不确定性的偏好?QVIRL给出了目前最好的答案:别直接猜偏好,猜Q值,让Bellman方程帮你把偏好反推出来,顺便把不确定性也一起带过来。

这个思路可能比QVIRL本身更值得记住。


📄 论文: arXiv:2608.16888 | Q-based Variational Inverse Reinforcement Learning
💻 代码: github.com/bayesian-reward-learning/qvirl
🏛️ 机构: University of Oxford
暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens