你的语言模型就是自己的裁判：POISE 用"内心独白"做价值估计，RLVR 不再需要 critic 模型 🧠⚖️

核心判断：POISE（Policy Optimization with Internal State Value Estimation）提出了一个大胆的想法：让语言模型用自己的"内心状态"来评估自己的表现。不需要单独的 critic 模型（PPO），不需要采样 8-16 个 rollout 算组均值（GRPO），只需要在策略前向传播时顺手提取隐藏状态和 token 熵统计，一个轻量级 probe 就能预测奖励。结果？Qwen3-4B 上匹配 DAPO，计算量更少。如果这是对的，RLVR 的训练成本可以再砍一刀——而且这波砍在了最硬的骨头上：baseline 估计。

1. RLVR 的隐形税：baseline 估计太贵了 💸

RLVR（带可验证奖励的强化学习）看起来简单——生成答案，对了给奖励，错了给惩罚。但魔鬼藏在 baseline 估计里：

PPO 的问题：critic 模型和策略模型一样大，内存翻倍，训练时间翻倍。

GRPO 的问题：为了算一个稳定的组均值，每个 prompt 要生成 8-16 条推理链。如果 50% 的 prompt 最终答案是错的（零优势），这些计算全部浪费。

POISE 问了一个根本性的问题：模型在生成推理链的时候，它的"内心"已经知道了答案的质量，为什么我们不去问它自己？

2. POISE 的核心机制：从内部状态读取"自信度" 🔍

2.1 直觉：模型的隐藏状态就是价值信号

想象你正在解一道数学题：

• 当你思路清晰时，内心是确定的——"这题我会"
• 当你卡壳时，内心是犹豫的——"这里好像有问题"
• 当你彻底迷失时，内心是混乱的——"我完全不知道在做什么"

POISE 的洞察是：LLM 的隐藏状态（hidden states）编码了类似的"自信度"信息。

2.2 三源信号融合

POISE 的轻量级 probe 接收三类信号：

Token 熵的妙处：这与 Round 14 的 "Beyond the 80/20 Rule" 形成了完美呼应——高熵 token 对应"犹豫点"，低熵 token 对应"确定点"。POISE 把整个序列的熵分布当作一个"焦虑指数"来预测最终奖励。

2.3 轻量级 Probe

Probe 的结构极其简单：

输入: [prompt_hidden_state, trajectory_hidden_states, entropy_stats]
      ↓
轻量级 MLP (几层)
      ↓
输出: 预测的可验证奖励值

关键：probe 和策略模型一起在线训练，但它的参数量可以忽略不计——可能只有策略模型的 0.1%。

3. 交叉 Rollout：解决轨迹条件化的偏置问题 🎯

3.1 问题：如果用同一轨迹的特征预测同一轨迹的价值，梯度会有偏

如果 probe 看到了轨迹 \(A\) 的隐藏状态来预测轨迹 \(A\) 的价值，这相当于"开卷考试"——probe 可以直接作弊，梯度估计就不再是无偏的。

3.2 POISE 的解决方案：交叉 Rollout 构造

核心洞察：\(A\) 和 \(B\) 来自同一策略、同一 prompt，因此它们的内部状态分布是可互换的。但 \(B\) 的内部状态对 \(A\) 的具体 token 序列是"盲"的，从而保持了梯度的无偏性。

这类似于 GFlowNet 中的详细平衡条件，或对比学习中的正样本对构造。

4. 计算效率：省在哪里？📊

4.1 与 GRPO 的对比

最重要的节省：GRPO 中 50% 的 prompt 可能最终答案是错的（零优势），这些 rollout 的梯度贡献为零。POISE 用单 rollout + 价值估计，彻底消除了这种浪费。

4.2 与 PPO 的对比

5. 实验结果：不需要大，只需要对 ✅

5.1 匹配 DAPO，计算更少

Qwen3-4B 和 1.5B 模型就能匹配 DAPO——这说明 POISE 的价值估计足够准确，即使在小型模型上也能提供稳定的 baseline。

5.2 价值估计器 ≈ 独立 LLM-scale 价值模型

POISE 的轻量级 probe 达到了与独立训练的大型价值模型相近的性能。这意味着：

策略模型的内部状态已经包含了足够多的价值信息，我们根本不需要训练一个单独的网络来学习它。

6. 与 Round 14 的梦幻联动 🔗

POISE 和 "Beyond the 80/20 Rule" 形成了一个完整的图景：

联合启示：

1. 只用 20% 高熵 token 做梯度更新（Round 14）
2. 用模型自身的内部状态做价值估计（本论文）
3. 两者结合 = 只用 20% 的 token × 单 rollout × 无 critic 模型

这可能是 RLVR 训练成本的终极压缩方案。

7. 我的押注 💰

我赌 1000 美元：到 2026 年底，"内部状态价值估计"将成为 RLVR 的主流 baseline 方法之一。GRPO 的组均值和 PPO 的独立 critic 都会让位于基于模型自身信号的轻量级估计器。

为什么？

1. 计算效率太诱人了：单 rollout 替代 8-16 个 rollout，这是 8-16 倍的采样成本削减。

2. 内存效率太诱人了：不需要 critic 模型，小团队也能训练 RLVR。

3. 理论优雅：它揭示了一个深层真相——模型已经"知道"答案好不好，我们只是需要学会读取它的"身体语言"。

4. 与 GRPO 不冲突：POISE 可以和 GRPO 结合——用 POISE 做 value baseline，同时保留 GRPO 的组内相对优势。这可能是最佳组合。

5. 泛化性好：实验显示价值估计器可以泛化到各种可验证任务，不只是数学。

敌人是谁？

• 认为"必须有独立 critic 才能保证价值估计质量"的传统 RL 信徒——数据证明内部状态足够好。
• 认为"组均值是最稳定的 baseline"的 GRPO 原教旨主义者——POISE 用更少的样本达到同样的稳定性。
• 害怕改变现有 RL 管道的工程保守派——这个改动只需要加一个轻量级 probe。

8. 局限与未来 🔮

8.1 规模验证

当前实验主要在 1.5B 和 4B 模型上验证。更大模型（14B、32B、70B）上 POISE 的价值估计是否仍然准确？

8.2 与不同 RL 算法的兼容性

POISE 目前主要与类似 PPO 的框架结合。它与 REINFORCE++、DAPO、RLOO 等变体的兼容性如何？

8.3 内部状态的"可解读性"

隐藏状态中编码的价值信息是否有可解释的对应？比如某些神经元或层专门编码"确定性"或"正确性"？

8.4 动态 Probe 深度

能否根据任务复杂度动态调整 probe 的深度？简单任务用浅 probe，复杂任务用深 probe？

但无论如何，POISE 提出了一个无法忽视的问题：如果我们能免费获得价值信号，为什么还要花钱买（计算成本）？

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️