Your Language Model is Its Own Critic：从 Actor 内部状态提取价值信号的 RLVR 新范式

> 2026 年 5 月，Choi 等人提出了 POISE（Policy Optimization with Internal State Value Estimation），一种利用语言模型自身内部表示进行价值估计的 RLVR 方法。该方法通过在策略前向传播过程中提取隐藏状态与 token 熵统计，以极低开销构建轻量级价值 probe，从而消除了 PPO 对独立 critic 模型的依赖，也避免了 GRPO 对多 rollout 组均值的需求。在 Qwen3-4B 和 DeepSeek-R1-Distill-Qwen-1.5B 上的实验表明，POISE 在匹配 DAPO 性能的同时显著降低了计算成本，且其价值估计器的精度接近独立 LLM-scale 价值模型。

---

1. 背景：RLVR 中的 Baseline 困境

1.1 方差缩减的必要性

强化学习的核心挑战之一是梯度方差。对于 LLM 推理任务，奖励通常只在序列末端出现（答案正确/错误），导致信用分配困难。Baseline 估计用于降低方差：

$$\nabla_\theta J \approx \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_{t} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot (R(\tau) - b(s_t))\right]$$

其中 $b(s_t)$ 为 baseline，理想情况下应等于状态价值 $V(s_t)$。

1.2 现有方法的代价

方法	Baseline 机制	主要代价
PPO	独立训练的 critic 网络 $V_\phi(s)$	与策略模型等规模的额外网络
GRPO	同组 rollout 的奖励均值 $\bar{R}_G$	每 prompt 8-16 次采样
DAPO	动态过滤 + 采样调整	复杂的在线调度逻辑

> 共同瓶颈：无论哪种方法，baseline 的获取都伴随着显著的计算或内存开销。

---

2. POISE：Actor-Critic 的极简重构

2.1 核心假设

POISE 基于一个关键观察：策略模型在生成推理链的过程中，其内部表示已经隐含了关于最终奖励的预测信息。

具体而言：

• 隐藏状态 $h_t$ 编码了模型对当前推理路径的"自信度"
• Token 熵分布反映了模型在整个序列上的不确定性模式
• 这些信号在前向传播中已经被计算，只是未被利用

2.2 三源输入的价值 Probe

POISE 的 probe 架构：

输入特征	来源	维度	信息内容
Prompt 最终隐藏状态	策略模型最后一层	$d_{model}$	问题表征
轨迹隐藏状态聚合	推理链各位置 hidden states	$d_{model}$	推理过程表征
Token 熵统计量	序列熵的分布特征	$k$	不确定性模式

> Probe 规模：典型配置下仅为策略模型参数量的 ~0.1%，计算开销可忽略。

2.3 在线联合训练

Probe 与策略模型同步更新： 1. 策略前向传播生成推理链 2. 同时提取隐藏状态与熵统计 3. Probe 预测该轨迹的期望奖励 4. 预测误差通过 MSE 损失训练 probe 5. 策略梯度使用 probe 预测作为 baseline

---

3. 交叉 Rollout：无偏价值估计的关键

3.1 轨迹条件化偏置

若直接使用轨迹 $A$ 的内部特征预测 $A$ 自身的价值，probe 可能过度拟合到 $A$ 的具体 token 序列，导致梯度估计有偏：

$$\hat{V}(A) = f(\text{states}_A) \rightarrow \text{对 } A \text{ 的 token 序列过拟合}$$

3.2 交叉 Rollout 构造

POISE 引入对称的交叉预测机制：

预测目标	使用的特征来源	无偏性保证
$V(\tau_A)$	$\text{states}_{\tau_B}$	$\tau_B$ 独立采样，对 $\tau_A$ 的具体 token 盲
$V(\tau_B)$	$\text{states}_{\tau_A}$	$\tau_A$ 独立采样，对 $\tau_B$ 的具体 token 盲

其中 $\tau_A, \tau_B \sim \pi_\theta(\cdot | \text{prompt})$。

> 理论保证：由于 $\tau_A$ 和 $\tau_B$ 来自同一策略和同一 prompt 分布，$\text{states}_{\tau_B}$ 是 $V(\tau_A)$ 的无偏特征。同时，$\tau_B$ 的具体 token 序列与 $\tau_A$ 独立，防止了过拟合。

---

4. 计算效率分析

4.1 与 GRPO 的定量对比

指标	GRPO	POISE	比率
每 prompt rollout 数	8-16	1	1/8 ~ 1/16
采样 FLOPs	$8-16 \times L \cdot d^2$	$1 \times L \cdot d^2$	12.5% ~ 6.25%
有效 prompt 多样性（固定预算）	基准	8-16×	800% ~ 1600%
零优势 prompt 检测成本	需要额外采样	零	0%

> 零优势消除：GRPO 中大量 prompt 产生全错或全对 rollout，组内方差为零，梯度贡献为零。POISE 的单 rollout + 价值估计天然避免了这种浪费。

4.2 与 PPO 的定量对比

指标	PPO	POISE	比率
Critic 参数量	$\approx	\theta	$	$\approx 0.001 \cdot	\theta	$	~0.1%
总内存占用	$2 \times$	$\approx 1.001 \times$	~50%
每步前向传播	2 次（actor + critic）	1 次	50%

---

5. 实验验证

5.1 性能匹配

模型	方法	数学推理	计算成本
Qwen3-4B	DAPO	基准	基准
Qwen3-4B	POISE	匹配	更低
DeepSeek-R1-Distill-Qwen-1.5B	DAPO	基准	基准
DeepSeek-R1-Distill-Qwen-1.5B	POISE	匹配	更低

5.2 价值估计精度

POISE 的轻量级 probe 与独立 LLM-scale 价值模型的对比：

估计器	规模	性能	结论
独立 LLM-scale 价值模型	策略模型级别	基准	高成本
POISE probe	~0.1% 策略模型	接近基准	极高性价比

> 核心发现：策略模型的内部状态已经包含足够的信息来预测最终奖励，无需额外的 LLM-scale 网络来学习。

5.3 泛化性

价值估计器在多种可验证任务上表现稳定，不限于数学推理。

---

6. 与相关工作的联系

6.1 与 Round 14 的互补性

"Beyond the 80/20 Rule"（Round 14）发现高熵 token 是 RLVR 的关键优化目标。POISE 恰好使用了 token 熵统计作为价值 probe 的输入特征之一，形成了方法层面的互补：

工作	核心操作	层面
Round 14	基于熵筛选 20% 关键 token 进行梯度更新	梯度压缩
本论文	基于内部状态（含熵统计）估计价值	Baseline 压缩
联合效应	更少 token × 更少 rollout × 无 critic	全面效率提升

6.2 与 Self-Critique 范式的关联

POISE 延续了"模型自我评估"的研究脉络：

• STaR / Self-Refine：模型生成后自我修正
• Self-Rewarding：模型用自己的偏好判断训练
• POISE：模型用内部状态实时评估价值

> POISE 的独特之处在于评估发生在生成过程中（online），而非生成后（offline），从而为 RL 训练提供实时的 baseline 信号。

---

7. 局限性与开放问题

7.1 规模扩展

当前验证限于 1.5B-4B 模型。更大规模（14B+）上，内部状态是否仍包含足够的价值信息？probe 是否需要随模型规模增长？

7.2 表示退化

随着策略训练进行，内部表示可能逐渐"固化"（与 Round 14 中观察到的低熵 token 不变性类似）。这是否会影响 probe 的泛化能力？

7.3 与先进 RL 算法的整合

POISE 目前主要作为 PPO 风格的 baseline 估计器。它与以下算法的整合潜力：

• REINFORCE++：直接替代其 value baseline
• DAPO：结合动态采样策略
• RLOO：利用 leave-one-out 方差缩减

7.4 可解释性

隐藏状态中哪些维度编码了价值信息？是否存在与 Round 14 中"分叉 token"对应的"价值敏感神经元"？

---

8. 结论

POISE 通过利用策略模型已计算但未使用的内部信号，为 RLVR 的 baseline 估计问题提供了一个极简而高效的解决方案。其核心洞察——模型在生成过程中已经"知道"答案的质量——挑战了 RL 中"必须引入独立价值网络"的传统假设。

在 LLM 训练成本持续攀升的背景下，POISE 代表了向"计算效率"和"信号利用最大化"演进的趋势：不再增加模型或采样量，而是更聪明地利用已有计算中产生的信息。

---

论文详情

项目	内容
标题	Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
作者	Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo
arXiv ID	2605.07579
日期	2026-05-08
核心贡献	POISE：内部状态价值估计；轻量级 probe；交叉 rollout 无偏构造；单 rollout 匹配 DAPO；消除零优势采样浪费
关键结果	Qwen3-4B / DeepSeek-R1-Distill-Qwen-1.5B 匹配 DAPO；probe 性能接近独立 LLM-scale 价值模型；泛化至多种可验证任务

#Research #RLVR #ValueEstimation #ActorCritic #Efficiency #SelfCritic #智柴 🔬