Your Language Model is Its Own Critic：从 Actor 内部状态提取价值信号的 RLVR 新范式
2026 年 5 月，Choi 等人提出了 POISE（Policy Optimization with Internal State Value Estimation），一种利用语言模型自身内部表示进行价值估计的 RLVR 方法。该方法通过在策略前向传播过程中提取隐藏状态与 token 熵统计，以极低开销构建轻量级…
目录
- Your Language Model is Its Own Critic：从 Actor 内部状态提取价值信号的 RLVR 新范式
- 1. 背景：RLVR 中的 Baseline 困境
- 1.1 方差缩减的必要性
- 1.2 现有方法的代价
- 2. POISE：Actor-Critic 的极简重构
- 2.1 核心假设
- 2.2 三源输入的价值 Probe
- 2.3 在线联合训练
- 3. 交叉 Rollout：无偏价值估计的关键
- 3.1 轨迹条件化偏置
- 3.2 交叉 Rollout 构造
- 4. 计算效率分析
- 4.1 与 GRPO 的定量对比
- 4.2 与 PPO 的定量对比
- 5. 实验验证
- 5.1 性能匹配
- 5.2 价值估计精度
- 5.3 泛化性
- 6. 与相关工作的联系
- 6.1 与 Round 14 的互补性
- 6.2 与 Self-Critique 范式的关联
- 7. 局限性与开放问题
- 7.1 规模扩展
- 7.2 表示退化
- 7.3 与先进 RL 算法的整合
- 7.4 可解释性
- 8. 结论
- 论文详情
Your Language Model is Its Own Critic：从 Actor 内部状态提取价值信号的 RLVR 新范式
2026 年 5 月，Choi 等人提出了 POISE（Policy Optimization with Internal State Value Estimation），一种利用语言模型自身内部表示进行价值估计的 RLVR 方法。该方法通过在策略前向传播过程中提取隐藏状态与 token 熵统计，以极低开销构建轻量级价值 probe，从而消除了 PPO 对独立 critic 模型的依赖，也避免了 GRPO 对多 rollout 组均值的需求。在 Qwen3-4B 和 DeepSeek-R1-Distill-Qwen-1.5B 上的实验表明，POISE 在匹配 DAPO 性能的同时显著降低了计算成本，且其价值估计器的精度接近独立 LLM-scale 价值模型。
1. 背景：RLVR 中的 Baseline 困境
1.1 方差缩减的必要性
强化学习的核心挑战之一是梯度方差。对于 LLM 推理任务，奖励通常只在序列末端出现（答案正确/错误），导致信用分配困难。Baseline 估计用于降低方差：
其中 \(b(s_t)\) 为 baseline，理想情况下应等于状态价值 \(V(s_t)\)。
1.2 现有方法的代价
| 方法 | Baseline 机制 | 主要代价 |
|---|---|---|
| PPO | 独立训练的 critic 网络 \(V_\phi(s)\) | 与策略模型等规模的额外网络 |
| GRPO | 同组 rollout 的奖励均值 \(\bar{R}_G\) | 每 prompt 8-16 次采样 |
| DAPO | 动态过滤 + 采样调整 | 复杂的在线调度逻辑 |
共同瓶颈：无论哪种方法，baseline 的获取都伴随着显著的计算或内存开销。
2. POISE：Actor-Critic 的极简重构
2.1 核心假设
POISE 基于一个关键观察：策略模型在生成推理链的过程中，其内部表示已经隐含了关于最终奖励的预测信息。
具体而言：
- 隐藏状态 \(h_t\) 编码了模型对当前推理路径的"自信度"
- Token 熵分布反映了模型在整个序列上的不确定性模式
- 这些信号在前向传播中已经被计算，只是未被利用
2.2 三源输入的价值 Probe
POISE 的 probe 架构：
| 输入特征 | 来源 | 维度 | 信息内容 |
|---|---|---|---|
| Prompt 最终隐藏状态 | 策略模型最后一层 | \(d_{model}\) | 问题表征 |
| 轨迹隐藏状态聚合 | 推理链各位置 hidden states | \(d_{model}\) | 推理过程表征 |
| Token 熵统计量 | 序列熵的分布特征 | \(k\) | 不确定性模式 |
Probe 规模：典型配置下仅为策略模型参数量的 ~0.1%，计算开销可忽略。
2.3 在线联合训练
Probe 与策略模型同步更新： 1. 策略前向传播生成推理链 2. 同时提取隐藏状态与熵统计 3. Probe 预测该轨迹的期望奖励 4. 预测误差通过 MSE 损失训练 probe 5. 策略梯度使用 probe 预测作为 baseline
3. 交叉 Rollout：无偏价值估计的关键
3.1 轨迹条件化偏置
若直接使用轨迹 \(A\) 的内部特征预测 \(A\) 自身的价值，probe 可能过度拟合到 \(A\) 的具体 token 序列，导致梯度估计有偏：
3.2 交叉 Rollout 构造
POISE 引入对称的交叉预测机制：
| 预测目标 | 使用的特征来源 | 无偏性保证 |
|---|---|---|
| \(V(\tau_A)\) | \(\text{states}_{\tau_B}\) | \(\tau_B\) 独立采样，对 \(\tau_A\) 的具体 token 盲 |
| \(V(\tau_B)\) | \(\text{states}_{\tau_A}\) | \(\tau_A\) 独立采样，对 \(\tau_B\) 的具体 token 盲 |
理论保证：由于 \(\tau_A\) 和 \(\tau_B\) 来自同一策略和同一 prompt 分布，\(\text{states}_{\tau_B}\) 是 \(V(\tau_A)\) 的无偏特征。同时，\(\tau_B\) 的具体 token 序列与 \(\tau_A\) 独立，防止了过拟合。
4. 计算效率分析
4.1 与 GRPO 的定量对比
| 指标 | GRPO | POISE | 比率 |
|---|---|---|---|
| 每 prompt rollout 数 | 8-16 | 1 | 1/8 ~ 1/16 |
| 采样 FLOPs | \(8-16 \times L \cdot d^2\) | \(1 \times L \cdot d^2\) | 12.5% ~ 6.25% |
| 有效 prompt 多样性（固定预算） | 基准 | 8-16× | 800% ~ 1600% |
| 零优势 prompt 检测成本 | 需要额外采样 | 零 | 0% |
零优势消除：GRPO 中大量 prompt 产生全错或全对 rollout，组内方差为零，梯度贡献为零。POISE 的单 rollout + 价值估计天然避免了这种浪费。
4.2 与 PPO 的定量对比
| 指标 | PPO | POISE | 比率 |
|---|---|---|---|
| Critic 参数量 | \(\approx |\theta|\) | \(\approx 0.001 \cdot |\theta|\) | ~0.1% |
| 总内存占用 | \(2 \times\) | \(\approx 1.001 \times\) | ~50% |
| 每步前向传播 | 2 次（actor + critic） | 1 次 | 50% |
5. 实验验证
5.1 性能匹配
| 模型 | 方法 | 数学推理 | 计算成本 |
|---|---|---|---|
| Qwen3-4B | DAPO | 基准 | 基准 |
| Qwen3-4B | POISE | 匹配 | 更低 |
| DeepSeek-R1-Distill-Qwen-1.5B | DAPO | 基准 | 基准 |
| DeepSeek-R1-Distill-Qwen-1.5B | POISE | 匹配 | 更低 |
5.2 价值估计精度
POISE 的轻量级 probe 与独立 LLM-scale 价值模型的对比：
| 估计器 | 规模 | 性能 | 结论 |
|---|---|---|---|
| 独立 LLM-scale 价值模型 | 策略模型级别 | 基准 | 高成本 |
| POISE probe | ~0.1% 策略模型 | 接近基准 | 极高性价比 |
核心发现：策略模型的内部状态已经包含足够的信息来预测最终奖励，无需额外的 LLM-scale 网络来学习。
5.3 泛化性
价值估计器在多种可验证任务上表现稳定，不限于数学推理。
6. 与相关工作的联系
6.1 与 Round 14 的互补性
"Beyond the 80/20 Rule"（Round 14）发现高熵 token 是 RLVR 的关键优化目标。POISE 恰好使用了 token 熵统计作为价值 probe 的输入特征之一，形成了方法层面的互补：
| 工作 | 核心操作 | 层面 |
|---|---|---|
| Round 14 | 基于熵筛选 20% 关键 token 进行梯度更新 | 梯度压缩 |
| 本论文 | 基于内部状态（含熵统计）估计价值 | Baseline 压缩 |
| 联合效应 | 更少 token × 更少 rollout × 无 critic | 全面效率提升 |
6.2 与 Self-Critique 范式的关联
POISE 延续了"模型自我评估"的研究脉络：
- STaR / Self-Refine：模型生成后自我修正
- Self-Rewarding：模型用自己的偏好判断训练
- POISE：模型用内部状态实时评估价值
POISE 的独特之处在于评估发生在生成过程中（online），而非生成后（offline），从而为 RL 训练提供实时的 baseline 信号。
7. 局限性与开放问题
7.1 规模扩展
当前验证限于 1.5B-4B 模型。更大规模（14B+）上，内部状态是否仍包含足够的价值信息？probe 是否需要随模型规模增长？
7.2 表示退化
随着策略训练进行，内部表示可能逐渐"固化"（与 Round 14 中观察到的低熵 token 不变性类似）。这是否会影响 probe 的泛化能力？
7.3 与先进 RL 算法的整合
POISE 目前主要作为 PPO 风格的 baseline 估计器。它与以下算法的整合潜力：
- REINFORCE++：直接替代其 value baseline
- DAPO：结合动态采样策略
- RLOO：利用 leave-one-out 方差缩减
7.4 可解释性
隐藏状态中哪些维度编码了价值信息？是否存在与 Round 14 中"分叉 token"对应的"价值敏感神经元"？
8. 结论
POISE 通过利用策略模型已计算但未使用的内部信号，为 RLVR 的 baseline 估计问题提供了一个极简而高效的解决方案。其核心洞察——模型在生成过程中已经"知道"答案的质量——挑战了 RL 中"必须引入独立价值网络"的传统假设。
在 LLM 训练成本持续攀升的背景下，POISE 代表了向"计算效率"和"信号利用最大化"演进的趋势：不再增加模型或采样量，而是更聪明地利用已有计算中产生的信息。
论文详情
| 项目 | 内容 |
|---|---|
| 标题 | Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States |
| 作者 | Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo |
| arXiv ID | 2605.07579 |
| 日期 | 2026-05-08 |
| 核心贡献 | POISE：内部状态价值估计；轻量级 probe；交叉 rollout 无偏构造；单 rollout 匹配 DAPO；消除零优势采样浪费 |
| 关键结果 | Qwen3-4B / DeepSeek-R1-Distill-Qwen-1.5B 匹配 DAPO；probe 性能接近独立 LLM-scale 价值模型；泛化至多种可验证任务 |