Not All Tokens Learn Alike：注意力熵揭示的 RL 推理中 token 级别异构学习信号

Not All Tokens Learn Alike：注意力熵揭示的 RL 推理中 token 级别异构学习信号

2026 年 5 月，Li 等人通过注意力熵（attention entropy）的 lens 研究了 LLM 推理后训练中 token-level 学习信号的异构性。该研究发现，token-level RL 目标是稀疏可估计的——均匀随机 20% token 子集即可保留大部分全 token held-out 性能——但注意力熵结构化的子集呈现出截然不同的行为模式。低注意力熵的"锚点"（anchors）token 提供稳定的优化骨架，而高注意力熵的"探索者"（explorers）token 虽产生 volatile 梯度，却可能包含 hard-reasoning 突破信号。基于这一发现，研究者提出了动态熵感知软重加权干预，在 Qwen3-8B-Base 上将 held-out 平均性能从 34.39 提升至 37.40。这一工作为理解 token-level RL 信号的优化相关结构提供了新的分析维度，并与近期基于 token 熵的研究形成了理论互补。

1. 背景：Token-Level RL 信号的理解缺口

1.1 稀疏性现象

近期研究（包括 Round 14 的 "Beyond the 80/20 Rule"）发现 token-level 梯度更新具有显著的稀疏性：仅 20% 的 token 子集即可保留大部分性能。然而，这些研究对"哪些 20%"的回答存在分歧：

1.2 注意力熵的定义

对于响应中的第 \(t\) 个 token，注意力熵衡量其生成时上下文支持的集中/分散程度：

其中 \(\alpha_i^{(t)}\) 为生成该 token 时第 \(i\) 个上下文位置的注意力权重。

低注意力熵：模型依赖少数关键上下文位置（集中支持）

高注意力熵：模型整合广泛分布的上下文信息（分散支持）

2. Anchor-Explorer 光谱

2.1 锚点（Anchors）：低注意力熵 Token

2.2 探索者（Explorers）：高注意力熵 Token

2.3 对照实验

关键发现：Explorers-only 训练虽然平均不稳定，但"少数成功运行"显示出显著的性能突破，证明这些 token 确实包含有价值的 hard-reasoning 信号。

3. 稀疏性验证

3.1 均匀随机子集

证实了 Round 14 的核心发现：token-level 更新存在显著冗余。

3.2 熵结构化子集

核心洞察：稀疏性不仅意味着"可以少更新"，更意味着"不同类型的 token 承担不同的优化功能"。

4. 排除替代解释

研究者通过一系列控制实验确认观察到的 asymmetry 不是由以下因素导致：

证据强度：观察到的 anchor-explorer 不对称性是一种内在的、与注意力机制结构相关的现象。

5. 动态熵感知软重加权

5.1 设计动机

不是固定选择 anchors 或 explorers，而是根据训练动态调整两者的贡献权重：

5.2 实现

5.3 实验结果

提升来源：不是更多计算，而是更智能的 token 权重分配——在需要稳定时依靠 anchors，在需要突破时激活 explorers。

6. 与相关工作的理论对话

6.1 与 Round 14（80/20 Rule）的互补

统一框架：

- 高 token 熵 + 低注意力熵 = "分叉锚点"（决策但稳定）

- 高 token 熵 + 高注意力熵 = "全局探索者"（决策且分散）

- 低 token 熵 + 低注意力熵 = "局部跟随"（填充 token）

- 低 token 熵 + 高注意力熵 = "综合总结"（确定但全局）

6.2 与 Round 15（POISE）的联系

POISE 使用 token 熵统计作为价值信号。本研究表明：注意力熵统计可能提供更丰富的价值信息——不仅预测"答案对不对"，还预测"这个 token 是在稳定训练还是在冒险探索"。

6.3 与 Round 17（Tracing Uncertainty）的联系

Round 17 的不确定性轮廓描述整条轨迹的动态。本论文的 anchor-explorer 光谱可视为轨迹中 token 级别的"不确定性身份"——每个位置是不确定性的生产者（explorer）还是消费者（anchor）。

7. 局限性与未来方向

7.1 层间差异

不同 transformer 层的注意力熵分布是否不同？

• 浅层：可能更多 anchors（局部模式匹配）
• 深层：可能更多 explorers（全局语义整合）

7.2 注意力头专门化

是否存在"anchor 头"和"explorer 头"的功能分化？

• 某些头始终低熵（负责局部语法）
• 某些头始终高熵（负责全局语义）

7.3 与任务结构的关联

不同任务类型（数学、逻辑、创意）的 anchor-explorer 比例是否不同？

• 数学推理：可能 anchors 更多（公式、计算）
• 开放式创作：可能 explorers 更多（联想、发散）

7.4 动态重加权的自适应机制

当前使用训练阶段和任务难度作为调节因素。探索：

• 在线监控训练 loss 曲率自动调整
• 验证集性能反馈的闭环控制
• 与 RL reward 信号的联合优化

8. 结论

Not All Tokens Learn Alike 通过注意力熵的 lens 揭示了 token-level RL 信号中此前未被识别的异构结构。其核心贡献在于：

1. 双重角色识别：token 不仅是"更新单元"，还分为"稳定锚点"和"探索信号"两种功能类型 2. 稀疏性再确认：20% 子集足够，但"哪 20%"需要情境自适应 3. 动态平衡策略：根据训练阶段和任务难度调整 anchor-explorer 权重 4. 实证提升：Qwen3-8B-Base +3.01 held-out 平均

与 Round 14 的 token 熵研究相结合，本工作为 token-level RL 的理解提供了更完整的图景：token 的重要性不是单维度的，而是由预测不确定度（token 熵）和上下文依赖模式（注意力熵）共同决定的。未来的高效 RL 训练可能需要同时监控这两种熵信号，并据此动态调整优化策略。

论文详情