E3：当测试时计算学会探索——不对称技能链式与负梯度驱动的推理外推

> 2025 年 6 月，CMU 团队发布了 E3（Learning to Explore Enables Extrapolation of Test-Time Compute），揭示了现有推理模型在测试时计算外推（extrapolation）方面的结构性缺陷。通过引入不对称技能链式、负梯度探索与难度-预算耦合课程三个关键成分，E3 训练的 1.7B 模型在 AIME'25 和 HMMT'25 上达到了同规模最优水平，并展现出对 2 倍训练预算的外推能力。

---

1. 测试时计算的核心挑战：Extrapolation 困境

1.1 从 Interpolation 到 Extrapolation

测试时计算（test-time compute）的研究通常关注 interpolation——在训练时见过的预算范围内优化性能。然而，真正的挑战在于 extrapolation：

> Extrapolation：模型在训练时针对预算 $C_{\text{train}}$ 进行优化，但在测试时能否有效利用 $C_{\text{test}} \gg C_{\text{train}}$ 的额外计算资源来持续提升性能？

Setlur 等人（2025）的实验表明，大多数现有推理模型在这一维度上表现不佳：

训练范式	训练预算	测试预算翻倍	性能变化
标准 Outcome-Reward RL	1K tokens	2K tokens	持平或下降
SFT on Long CoT	2K tokens	4K tokens	饱和
E3	1K tokens	2K tokens	持续提升

> 关键发现：当前模型的训练目标通常优化的是在固定预算内的单次通过率（pass@1），而非在可变预算下的持续改进能力。这导致模型学会了"在预算内一次性答对"，而非"在更多预算下持续探索"。

---

2. E3 的三成分框架

2.1 成分一：不对称技能链式（Asymmetric Skill Chaining）

E3 的核心洞察是：基础模型在不同子技能上的掌握程度存在显著差异。与其均匀提升所有能力，不如利用强技能来弥补弱技能，通过链式组合实现 in-context 搜索。

技能	典型难度	模型掌握度	在链式中的角色
验证（Verification）	低	强	筛选器：评估候选答案
生成（Generation）	中	中等	产生器：生成候选
修正（Refinement）	高	弱	改进器：基于反馈优化

> 链式机制：模型不需要在生成上达到专家水平。它只需要生成足够多样化的候选，然后让擅长的验证技能来筛选。这种"扬长避短"的策略使得整体推理能力超越了任何单一技能的水平。

形式化地，设技能集合为 $\mathcal{S} = \{s_1, s_2, \dots, s_n\}$，每个技能 $s_i$ 有对应的模型掌握度 $c_i \in [0, 1]$。E3 寻找的并非 $\max_i c_i$ 的单一技能，而是技能序列 $\sigma = (s_{i_1}, s_{i_2}, \dots, s_{i_k})$，使得链式执行的整体成功率最大化：

$$P(\text{success} | \sigma) = \prod_{j=1}^{k} P(s_{i_j} \text{ succeeds} | \text{history}_{j-1})$$

2.2 成分二：负梯度放大探索（Negative Gradient Exploration）

传统 RL 训练主要利用正确轨迹的正向信号。E3 的创新在于系统性利用错误轨迹的负梯度来引导探索。

对于错误轨迹 $\tau^-$，传统方法的更新为：

$$\nabla_\theta J \approx 0 \quad (\text{因为 } r(\tau^-) = 0)$$

E3 则将其转化为探索信号：

$$\nabla_\theta J_{\text{explore}} \propto -\nabla_\theta \log \pi_\theta(\tau^-)$$

> 机制解释：负梯度 $\nabla_\theta \log \pi_\theta(\tau^-)$ 指示了如何降低生成该错误轨迹的概率。在策略梯度框架中，这等价于增加探索其他轨迹的概率。通过放大这一信号，E3 鼓励模型主动避开已知的失败模式，进入尚未充分探索的推理空间。

2.3 成分三：难度-预算耦合课程（Difficulty-Budget Curriculum）

E3 的课程设计将任务难度与训练 token 预算显式关联：

训练阶段	任务难度分布	预算分配	学习目标
早期	简单问题为主	短预算	掌握基本技能链
中期	混合难度	中等预算	扩展链式长度
后期	困难问题为主	长预算	复杂多步探索

> 设计原理：简单问题不需要长探索链，强制使用长预算会导致过思考（overthinking）。困难问题需要充分的探索空间，短预算则限制了发现解的可能性。通过匹配难度与预算，模型学会了按需分配计算资源。

---

3. 实验结果：1.7B 模型的 SOTA 表现

3.1 基准测试性能

E3-1.7B 在数学竞赛基准上的表现：

基准	E3-1.7B	同规模基线	关键优势
AIME'25	最佳 1.7B	显著落后	pass@1 与 pass@k 双优
HMMT'25	最佳 1.7B	显著落后	多样化候选生成

> 双重优势：E3 不仅提升了单次通过率（pass@1），还提升了在生成多个候选时的至少一次正确率（pass@k）。这表明模型学会了生成多样化的推理路径，而非在单一策略上优化。

3.2 Extrapolation 验证

训练预算	测试预算	E3 性能	基线性能
1K tokens	1K tokens	基准	基准
1K tokens	2K tokens	持续提升	饱和或下降

> 核心证据：E3 模型在训练时只接触过 1K token 的预算，但在 2K token 的测试预算下仍能持续提升。这验证了模型学会了探索策略本身，而非仅仅记忆了特定预算下的最优行为。

---

4. 理论分析：E3 与相关框架的对比

4.1 与 MRT 的关系

E3 与 CMU 团队前期的 MRT（Meta Reinforcement Fine-Tuning）工作形成了互补：

维度	MRT	E3
核心目标	最小化累积 regret	最大化 extrapolation
机制	Dense progress reward	技能链式 + 负梯度
优化粒度	Episode-level	Skill-level
关键洞察	每个 episode 必须有 progress	模型必须学会探索

> 潜在协同：E3 的探索策略与 MRT 的 progress reward 可以叠加——在探索过程中同时优化每个步骤的 progress，可能实现更强的测试时计算优化。

4.2 与标准 RL 的区别

特征	标准 Outcome-Reward RL	E3
信号来源	仅正确轨迹	正确轨迹 + 错误轨迹
探索机制	随机采样	负梯度引导的系统探索
技能假设	单一均匀能力	不对称多技能组合
预算处理	固定	难度自适应

---

5. 局限性与开放问题

5.1 技能链式的自动化

当前 E3 需要人工定义技能集合和链式结构。未来的关键问题包括：

• 能否从数据中自动发现技能分解？
• 最优链式结构是否因任务而异？
• 动态链式调整（根据中间结果选择下一步技能）是否可行？

5.2 负梯度的训练稳定性

放大负梯度信号可能引入训练不稳定性：

• 如何平衡正负梯度信号的比例？
• 负梯度是否会导致模式崩溃（mode collapse）到过于保守的策略？
• 在更复杂的奖励 landscape 中，负梯度的指导是否仍然有效？

5.3 跨领域泛化

E3 当前主要在数学推理上验证。其在其他领域的适用性待验证：

• 代码生成：验证（编译测试）强，生成（编写代码）弱——是否符合不对称假设？
• 科学推理：技能分解是否同样清晰？
• 多模态推理：跨模态验证的可行性？

---

6. 结论

E3 为测试时计算领域提供了一个重要的范式转换：从"优化固定预算内的性能"转向"训练模型学会有效探索，从而实现预算外推"。

三个成分——不对称技能链式、负梯度探索、难度-预算课程——共同构成了一个完整的训练框架，使得小模型（1.7B）能够通过聪明的探索策略达到前所未有的性能水平。

在预训练成本持续攀升的背景下，E3 代表了一条更具可持续性的路径：不是让模型更大，而是让模型更聪明地使用已有的计算资源。

---

论文详情

项目	内容
标题	E3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs
作者	Amrith Setlur, Matthew Y.R. Yang, Charlie Snell, Jeremy Greer, Ian Wu, Virginia Smith, Max Simchowitz, Aviral Kumar
机构	Carnegie Mellon University
arXiv ID	2506.09026
日期	2025-06-10
核心贡献	不对称技能链式；负梯度放大探索；难度-预算耦合课程；测试时计算 extrapolation
关键结果	E3-1.7B 在 AIME'25 和 HMMT'25 上达到最佳 1.7B 模型；可 extrapolate 到 2x 训练预算

#Research #TestTimeCompute #Exploration #Extrapolation #智柴 🔬