Not All Tokens Learn Alike：注意力熵揭示的 RL 推理中 token 级别异构学习信号

> 2026 年 5 月，Li 等人通过注意力熵（attention entropy）的 lens 研究了 LLM 推理后训练中 token-level 学习信号的异构性。该研究发现，token-level RL 目标是稀疏可估计的——均匀随机 20% token 子集即可保留大部分全 token held-out 性能——但注意力熵结构化的子集呈现出截然不同的行为模式。低注意力熵的"锚点"（anchors）token 提供稳定的优化骨架，而高注意力熵的"探索者"（explorers）token 虽产生 volatile 梯度，却可能包含 hard-reasoning 突破信号。基于这一发现，研究者提出了动态熵感知软重加权干预，在 Qwen3-8B-Base 上将 held-out 平均性能从 34.39 提升至 37.40。这一工作为理解 token-level RL 信号的优化相关结构提供了新的分析维度，并与近期基于 token 熵的研究形成了理论互补。

---

1. 背景：Token-Level RL 信号的理解缺口

1.1 稀疏性现象

近期研究（包括 Round 14 的 "Beyond the 80/20 Rule"）发现 token-level 梯度更新具有显著的稀疏性：仅 20% 的 token 子集即可保留大部分性能。然而，这些研究对"哪些 20%"的回答存在分歧：

研究	度量	关键 token 特征	策略
Round 14	Token 熵	高预测不确定度	保留高熵 token
本论文	注意力熵	低注意力集中度高熵注意力分散度	动态平衡 anchors 与 explorers

1.2 注意力熵的定义

对于响应中的第 $t$ 个 token，注意力熵衡量其生成时上下文支持的集中/分散程度：

$$H_{\text{attn}}^{(t)} = -\sum_{i} \alpha_i^{(t)} \log \alpha_i^{(t)}$$

其中 $\alpha_i^{(t)}$ 为生成该 token 时第 $i$ 个上下文位置的注意力权重。

> 低注意力熵：模型依赖少数关键上下文位置（集中支持） > 高注意力熵：模型整合广泛分布的上下文信息（分散支持）

---

2. Anchor-Explorer 光谱

2.1 锚点（Anchors）：低注意力熵 Token

属性	特征
上下文依赖	集中（少数位置的高注意力权重）
梯度行为	稳定、与全 token 更新方向一致
优化角色	可靠骨架，提供训练稳定性
局限性	在困难基准上容易 plateau

2.2 探索者（Explorers）：高注意力熵 Token

属性	特征
上下文依赖	分散（广泛分布的注意力权重）
梯度行为	更大但更 volatile
优化角色	可能包含 hard-reasoning 突破信号
局限性	平均训练不稳定，成功具有随机性

2.3 对照实验

训练配置	稳定性	简单任务	困难任务	解释
Anchors-only	高	好	Plateau	缺乏突破动力
Explorers-only	低	不稳定	少数突破	信号强但噪声大
动态平衡	中高	好	突破	最优组合

> 关键发现：Explorers-only 训练虽然平均不稳定，但"少数成功运行"显示出显著的性能突破，证明这些 token 确实包含有价值的 hard-reasoning 信号。

---

3. 稀疏性验证

3.1 均匀随机子集

子集比例	Held-out 性能保留
100%	基准
20%（均匀随机）	大部分保留

> 证实了 Round 14 的核心发现：token-level 更新存在显著冗余。

3.2 熵结构化子集

子集类型	行为特征
低注意力熵（Anchors）	稳定收敛，但上限有限
高注意力熵（Explorers）	高方差，但潜在上限更高

> 核心洞察：稀疏性不仅意味着"可以少更新"，更意味着"不同类型的 token 承担不同的优化功能"。

---

4. 排除替代解释

研究者通过一系列控制实验确认观察到的 asymmetry 不是由以下因素导致：

替代假设	控制实验	结论
位置偏差	控制 token 位置变量	❌ 不是位置效应
预测熵混淆	区分 token 熵与注意力熵	❌ 不是预测不确定度
损失归一化	控制损失缩放	❌ 不是归一化 artifact

> 证据强度：观察到的 anchor-explorer 不对称性是一种内在的、与注意力机制结构相关的现象。

---

5. 动态熵感知软重加权

5.1 设计动机

不是固定选择 anchors 或 explorers，而是根据训练动态调整两者的贡献权重：

$$w_t^{(i)} = f(H_{\text{attn}}^{(i)}, \text{training\_stage}, \text{task\_difficulty})$$

5.2 实现

因素	对 Anchors 权重的影响	对 Explorers 权重的影响
训练早期	增加	减少
训练晚期	减少	增加
简单任务	增加	减少
困难任务	减少	增加

5.3 实验结果

配置	Qwen3-8B-Base Held-out 平均
基线（全 token）	34.39
动态熵感知重加权	37.40
绝对提升	+3.01

> 提升来源：不是更多计算，而是更智能的 token 权重分配——在需要稳定时依靠 anchors，在需要突破时激活 explorers。

---

6. 与相关工作的理论对话

6.1 与 Round 14（80/20 Rule）的互补

维度	Round 14	本论文	联合视角
核心度量	Token 熵（预测分布）	注意力熵（上下文依赖）	双熵联合刻画
关键 token	高 token 熵 = 决策点	低注意力熵 = 稳定锚点	不同功能维度
策略	固定筛选 20%	动态平衡	情境自适应

> 统一框架： > - 高 token 熵 + 低注意力熵 = "分叉锚点"（决策但稳定） > - 高 token 熵 + 高注意力熵 = "全局探索者"（决策且分散） > - 低 token 熵 + 低注意力熵 = "局部跟随"（填充 token） > - 低 token 熵 + 高注意力熵 = "综合总结"（确定但全局）

6.2 与 Round 15（POISE）的联系

POISE 使用 token 熵统计作为价值信号。本研究表明：注意力熵统计可能提供更丰富的价值信息——不仅预测"答案对不对"，还预测"这个 token 是在稳定训练还是在冒险探索"。

6.3 与 Round 17（Tracing Uncertainty）的联系

Round 17 的不确定性轮廓描述整条轨迹的动态。本论文的 anchor-explorer 光谱可视为轨迹中 token 级别的"不确定性身份"——每个位置是不确定性的生产者（explorer）还是消费者（anchor）。

---

7. 局限性与未来方向

7.1 层间差异

不同 transformer 层的注意力熵分布是否不同？

• 浅层：可能更多 anchors（局部模式匹配）
• 深层：可能更多 explorers（全局语义整合）

7.2 注意力头专门化

是否存在"anchor 头"和"explorer 头"的功能分化？

• 某些头始终低熵（负责局部语法）
• 某些头始终高熵（负责全局语义）

7.3 与任务结构的关联

不同任务类型（数学、逻辑、创意）的 anchor-explorer 比例是否不同？

• 数学推理：可能 anchors 更多（公式、计算）
• 开放式创作：可能 explorers 更多（联想、发散）

7.4 动态重加权的自适应机制

当前使用训练阶段和任务难度作为调节因素。探索：

• 在线监控训练 loss 曲率自动调整
• 验证集性能反馈的闭环控制
• 与 RL reward 信号的联合优化

---

8. 结论

Not All Tokens Learn Alike 通过注意力熵的 lens 揭示了 token-level RL 信号中此前未被识别的异构结构。其核心贡献在于：

1. 双重角色识别：token 不仅是"更新单元"，还分为"稳定锚点"和"探索信号"两种功能类型 2. 稀疏性再确认：20% 子集足够，但"哪 20%"需要情境自适应 3. 动态平衡策略：根据训练阶段和任务难度调整 anchor-explorer 权重 4. 实证提升：Qwen3-8B-Base +3.01 held-out 平均

与 Round 14 的 token 熵研究相结合，本工作为 token-level RL 的理解提供了更完整的图景：token 的重要性不是单维度的，而是由预测不确定度（token 熵）和上下文依赖模式（注意力熵）共同决定的。未来的高效 RL 训练可能需要同时监控这两种熵信号，并据此动态调整优化策略。

---

论文详情

项目	内容
标题	Not All Tokens Learn Alike: Attention Entropy Reveals Heterogeneous Signals in RL Reasoning
作者	Gengyang Li, Zheng-Fan Wu, Siqi Bao, Yunfang Wu
arXiv ID	2605.07660
日期	2026-05-08
核心贡献	注意力熵分析 token-level RL 异构性；Anchors-Explorers 光谱；20% 稀疏性验证；控制实验排除替代解释；动态熵感知软重加权；Qwen3-8B-Base 34.39→37.40
关键结果	均匀随机 20% 保留大部分性能；Anchors 稳定但 plateau；Explorers volatile 但含 hard-reasoning；动态重加权 +3.01

#Research #AttentionEntropy #TokenLevelRL #HeterogeneousSignals #DynamicReweighting #智柴 🔬