Token 熵 vs 注意力熵：两篇论文同时发现"20% token 就够了"，但对"关键 token"的定义截然相反——谁是错的？🤔⚔️

> 核心判断：Li 等人（2026）用注意力熵（attention entropy）重新审视了 token-level RL 的学习信号，发现了一个与 Round 14 的 "80/20 Rule" 既呼应又矛盾的画面。两者都发现 20% 的 token 子集可以保留大部分性能——但 Round 14 说高 token 熵（预测不确定）的 token 是关键，而本论文说低注意力熵（上下文集中）的 token 才是"锚点"（anchors），提供稳定优化骨架；高注意力熵的 token 是"探索者"（explorers），虽然 volatile 但可能包含 hard-reasoning 信号。更关键的是，本论文提出了动态熵感知软重加权，让 Qwen3-8B 从 34.39 冲到 37.40。如果这是对的，token 筛选策略不是"一刀切"，而是需要根据训练阶段和任务难度动态平衡 anchors 和 explorers。

---

1. 两派发现：20% 都够，但选哪 20%？🔍

1.1 Round 14 的 "80/20 Rule"

Wang 等人（Round 14）用 token 熵（预测概率分布的熵）分析：

Token 类型	定义	角色	筛选策略
高 token 熵	预测分布分散	分叉点/决策点	保留这 20%
低 token 熵	预测分布集中	跟随 token/填充	Mask 掉

> 结论：只用 top 20% 高 token 熵 token 训练，32B 模型 AIME'25 +11.04。

1.2 本论文的 "Anchor-Explorer" 光谱

Li 等人用 注意力熵（attention entropy，衡量上下文支持的集中/分散程度）分析：

Token 类型	定义	角色	梯度特征
低注意力熵 Anchors	上下文支持集中	稳定骨架	稳定、与全梯度对齐
高注意力熵 Explorers	上下文支持分散	Hard-reasoning 信号	Volatile、大但不稳定

> 关键发现： > - Anchors-only 训练 = 稳定但 plateau（在难任务上卡住） > - Explorers-only 训练 = 平均不稳定，但少数成功运行显示 hard-reasoning 突破 > - 两者都是必需的，但需要动态平衡

1.3 两种熵的对比

维度	Token 熵（Round 14）	注意力熵（本论文）
衡量什么	模型对下一个 token 的预测不确定度	模型"看"上下文时的关注分散度
高熵含义	"下一个 token 有多种可能"	"依赖广泛的上下文信息"
低熵含义	"下一个 token 几乎确定"	"依赖集中的局部信息"
关键 token	高 token 熵 = 决策点	低注意力熵 = 稳定锚点
20% 策略	保留高 token 熵	两者都需要，动态平衡

> 这不是矛盾，而是互补：Token 熵告诉模型"在哪里决策"，注意力熵告诉模型"如何稳定优化"。

---

2. Anchors：模型的"安全网" 🪝

2.1 什么是 Anchors？

低注意力熵的 token 是"锚点"：

它们依赖集中的上下文支持（比如刚提到的数字、公式）
产生稳定的梯度，与全 token 更新的方向一致
构成优化的可靠骨架

推理链: "首先计算 2+2=4，然后..."
              ↑
        "4" 是 anchor——注意力集中在 "2+2=" 上

2.2 Anchors-Only 训练

特性	表现
训练稳定性	高
收敛速度	快
简单任务	好
困难任务	Plateau（卡住）

> 为什么 plateau？ Anchors 提供的是"安全"信号——模型学会了跟着已知模式走，但缺乏突破舒适区的动力。

---

3. Explorers：模型的"冒险家" 🧗

3.1 什么是 Explorers？

高注意力熵的 token 是"探索者"：

它们依赖分散的上下文支持（需要综合多个 distant 信息）
产生更大但更 volatile 的梯度
可能包含hard-reasoning 信号

推理链: "让我尝试另一种方法..."
              ↑
        "另一种方法" 是 explorer——注意力分散在多个策略上

3.2 Explorers-Only 训练

特性	表现
训练稳定性	低（平均不稳定）
梯度大小	大
简单任务	可能过拟合或震荡
困难任务	少数成功运行显示突破

> 关键发现：虽然平均不稳定，但"少数成功运行"表明 explorers 确实包含通往 hard-reasoning 的路径——只是优化过程太 volatile，大多数运行都失败了。

---

4. 动态平衡：Entropy-Aware Soft-Reweighting ⚖️

4.1 核心洞察

不是"选 anchors 还是 explorers"，而是根据情况动态调整两者的权重：

阶段/场景	Anchors 权重	Explorers 权重	原因
训练早期	高	低	建立稳定基础
训练中期	中	中	逐步引入探索
训练晚期	低	高	突破 plateau
简单任务	高	低	不需要冒险
困难任务	低	高	需要 hard-reasoning

4.2 实验结果

动态熵感知软重加权在 Qwen3-8B-Base 上：

配置	Held-out 平均
基线（全 token）	34.39
动态熵感知重加权	37.40
提升	+3.01

> +3.01 的提升来自什么？ 不是增加计算，而是更聪明地分配 token 权重——让 anchors 稳定训练，让 explorers 在关键时刻提供突破信号。

---

5. 与 Round 14 的深层对话 🗣️

5.1 表面矛盾，深层互补

Round 14	本论文	统一视角
高 token 熵是关键	低注意力熵 anchors 稳定训练	两者衡量不同维度的"关键性"
只用 20% 高熵 token	20% 子集足够，但需要动态组合	20% 是稀疏性阈值，但组合策略不同
32B +11 AIME'25	Qwen3-8B +3 held-out	不同规模、不同度量，但都有效

5.2 统一解释

$$\text{Token 重要性} = f(\text{Token 熵}, \text{注意力熵}, \text{训练阶段}, \text{任务难度})$$

Token 类型	Token 熵	注意力熵	最优策略
"4"（2+2=）	低	低	Anchor——稳定骨架
"另一种方法"	高	高	Explorer——hard-reasoning
"因为"	低	中	跟随 token——权重低
"验证"	高	中	决策点——Round 14 的关键 token

> 关键洞察：高 token 熵 + 高注意力熵 = 最 volatile 但最有潜力的 token。高 token 熵 + 低注意力熵 = 决策点但上下文集中 = Round 14 的"分叉 token"。

---

6. 为什么两种熵都重要？🧠

6.1 Token 熵 = "下一步有多不确定"

$$H_{\text{token}} = -\sum_v p(v|x_{

> 告诉模型：这个位置是不是"决策点"？

6.2 注意力熵 = "我看上下文时有多分散"

$$H_{\text{attention}} = -\sum_i \alpha_i \log \alpha_i$$

其中 $\alpha_i$ 是注意力权重。

> 告诉模型：这个 token 的生成依赖的是集中的局部信息（anchor）还是分散的全局信息（explorer）？

6.3 两者结合 = 完整的 token "身份卡"

	低 Token 熵	高 Token 熵
低注意力熵	确定 + 局部 = 跟随 token	不确定 + 局部 = 分叉 token（Round 14）
高注意力熵	确定 + 全局 = 综合 token	不确定 + 全局 = Explorer（本论文）

---

7. 我的押注 💰

我赌 1000 美元：到 2026 年底，"双熵动态平衡"将成为 RL 训练的标准配置。所有主流框架都会同时监控 token 熵和注意力熵，并根据训练阶段动态调整 token 权重。

为什么？

1. 两种熵都揭示了真实结构：token 熵和注意力熵从不同角度刻画了 token 的"角色"，两者结合比单一度量更全面。

2. 动态平衡比固定筛选更优：Round 14 的固定 20% 筛选在特定条件下有效，但本论文显示动态调整可以进一步提升。

3. 实现成本低：注意力熵在 transformer 的前向传播中已经可以免费获得（就是注意力权重）。

4. 理论优雅：它把 token 筛选从"一刀切"提升为"情境感知"——简单任务多 anchors，困难任务多 explorers。

5. 与所有 RL 算法兼容：无论是 GRPO、PPO 还是 DAPO，都可以加入双熵动态重加权。

敌人是谁？

"只用一种熵就够了"的简化主义者——数据证明两者提供互补信息。
害怕增加复杂度的工程团队——注意力熵几乎零额外成本。
认为"固定策略更稳定"的保守派——动态重加权有更强的实验结果支撑。

---

8. 局限与未来 🔮

8.1 两种熵的交互

当前研究分别分析 token 熵和注意力熵。它们的联合分布是什么？是否存在"双高"或"双低" token 的特殊角色？

8.2 层间差异

注意力熵在不同 transformer 层是否有不同模式？浅层的 explorers 和深层的 explorers 是否承担不同功能？

8.3 头间差异

不同注意力头的熵分布是否不同？是否存在专门负责"探索"的注意力头？

8.4 与不确定性轮廓的整合

Round 17 的不确定性轮廓描述了整条轨迹的动态。能否将双熵分析扩展到轨迹级别——"anchor-dominated 轨迹" vs "explorer-dominated 轨迹"？

但无论如何，这篇论文与 Round 14 一起，为 token-level RL 的理解提供了双重视角——不是"哪个对哪个错"，而是"两者都是对的，只是看到了不同的侧面"。

---

论文详情

项目	内容
标题	Not All Tokens Learn Alike: Attention Entropy Reveals Heterogeneous Signals in RL Reasoning
作者	Gengyang Li, Zheng-Fan Wu, Siqi Bao, Yunfang Wu
机构	（待确认，中国研究机构）
arXiv ID	2605.07660
日期	2026-05-08
核心贡献	注意力熵分析 token-level RL 异构性；Anchors vs Explorers 光谱；20% 子集稀疏性；动态熵感知软重加权；Qwen3-8B-Base 34.39→37.40
关键结果	均匀随机 20% 保留大部分性能；Anchors 稳定但 plateau；Explorers volatile 但含 hard-reasoning 信号；动态重加权 +3.01 held-out 平均

#CrushAI #BetWriting #智柴系统实验室 🎙️