从过思考到难度自适应：DAST 如何用 Token Length Budget 重新定义推理链长度优化

2025 年 3 月，腾讯团队提出了一种名为 DAST（Difficulty-Adaptive Slow-Thinking）的框架，旨在解决大型推理模型中的"过思考"（overthinking）问题。与当前主流的"一刀切"长度控制方法不同，DAST 通过引入 Token Length Budget（TLB）将问题难度显式映射到目标推理长度，实现了简单问题的高效处理与复杂问题的深度推理之间的动态平衡。

1. 过思考：慢思考模型的隐性成本

2024 年以来，以 DeepSeek-R1、OpenAI o1 为代表的慢思考模型通过延长思维链显著提升了复杂推理任务的性能。然而，这一范式带来了一个被低估的副作用：模型在简单问题上同样生成冗长的推理链。

过思考（Overthinking）：Chen 等人（2024）在《Do Not Think That Much for 2+3=¿》中首次系统量化了这一现象。研究表明，o1 类模型在简单数学问题上生成的推理步骤远超必要，导致计算资源的严重浪费。

当前缓解策略普遍存在"一刀切"困境：

2. Token Length Budget：问题难度的长度代理

2.1 核心定义

DAST 的核心创新是定义了 Token Length Budget（TLB）——一个将问题难度量化为目标推理长度的指标。TLB 的计算融合了两种信息：

1. 准确率信号：该问题在现有模型上的正确解答率
2. 长度分布：正确解答该问题所需的 token 长度分布

形式化直觉：设问题 \(x\) 的候选解答集合为 \(\{y_i\}_{i=1}^{N}\)，其中正确解答为 \(\{y_i^+\}\)，错误解答为 \(\{y_i^-\}\)。TLB 定义为：

\[\text{TLB}(x) = f\left(\text{acc}(x), \{ |y_i^+| \}_{i=1}^{N^+} \right)\]

其中 \(\text{acc}(x)\) 为准确率，\(|y_i^+|\) 为正确解答的长度。函数 \(f\) 通常取某种分位数或加权平均，确保 TLB 反映"典型正确解答所需长度"。

2.2 与现有难度度量的对比

TLB 的独特之处在于它同时编码了问题的"难度"和"解决该难度所需的计算量"。高准确率 + 短长度 = 低 TLB（简单题）；低准确率 + 长长度 = 高 TLB（复杂题）。

3. DAST 方法：长度感知奖励与偏好优化

3.1 长度感知奖励塑造

基于 TLB，DAST 设计了分段奖励函数。设模型生成的推理链长度为 \(L\)，问题的 TLB 为 \(B\)：

关键设计：奖励的符号不仅取决于长度本身，还取决于该长度与 TLB 的相对关系。同一长度 \(L=500\) 对 \(B=50\) 的问题是惩罚，对 \(B=1000\) 的问题是奖励。

3.2 预算偏好优化

DAST 使用 SimPO（Meng et al., 2025）进行训练。具体步骤：

1. 采样：对问题 \(x\) 采样多个候选回答 \(\{y_i\}\)
2. 标注：根据长度与 TLB 的匹配度，将回答标记为 preferred（\(y_w\)）或 rejected（\(y_l\)）
3. 优化：通过 SimPO 优化策略 \(\pi_\theta\)，使其偏好 \(y_w\) 而非 \(y_l\)：

..... SimPO 与 DPO 的区别：DPO（Direct Preference Optimization）需要参考模型 \(\pi_{\text{ref}}\) 来计算偏好概率比。SimPO 移除了这一依赖，直接优化策略模型对首选回答的似然度，同时引入长度归一化项 \(\frac{1}{|y|}\) 防止模型偏好短回答的捷径。

3.3 与相关方法的对比

4. 实验结果与量化分析

4.1 主要指标

Shen 等人（2025）在多个数据集和模型规模上验证了 DAST：

核心发现：DAST 在减少平均 token 使用量超过 30% 的同时，没有牺牲复杂问题的推理准确性。这验证了其"难度自适应"设计的有效性。

4.2 与基线的对比分析

DAST 在效果-复杂度权衡上占据有利位置：它比统一长度限制更精细（保留难题性能），比 MRT 更简单（无需设计 dense reward）。

5. 理论分析：为什么难度自适应是合理的？

5.1 信息论视角

从信息论角度，推理过程可以建模为逐步消除不确定性的过程：

• 简单问题的后验概率分布 \(P(\text{answer}|\text{question})\) 高度集中（低熵）
• 复杂问题的后验分布分散（高熵），需要更多推理步骤来逼近峰值

TLB 本质上是对问题后验熵的一种代理度量：高熵问题需要更长的推理链来收敛。

5.2 计算复杂度视角

在计算复杂度理论中，问题的"难度"通常与所需计算步骤成正比：

DAST 的 TLB 可以被视为一种"经验性计算复杂度"估计——它不依赖于形式化证明，而是通过观察模型的实际行为来推断。

6. 局限性与开放问题

6.1 TLB 的分布外泛化

TLB 依赖训练数据中的准确率和长度分布。如果测试问题的难度分布与训练数据显著不同（例如，从初等数学跳到高等数学），预计算的 TLB 可能失效。

6.2 连续难度与离散 TLB

真实世界的难度是连续光谱，而 TLB 通常被离散化为若干桶。更细粒度的连续 TLB 设计——例如使用回归模型直接预测目标长度——值得探索。

6.3 与其他技术的协同

DAST 与以下技术的兼容性尚未充分验证：

• MRT 的 progress reward：能否在 episode 级别叠加 TLB 感知？
• SSR 的经验重放：TLB 是否可以作为重放缓冲区的优先级信号？
• Forced Rethinking：在 VLM 中，TLB 是否需要同时考虑视觉和文本的复杂度？

7. 结论

DAST 代表了对"推理效率"问题的一种根本性的重新思考：与其强制所有问题服从相同的长度约束，不如让模型学会根据问题难度自适应地分配计算资源。Token Length Budget（TLB）提供了一个简单 yet 有效的难度量化框架，而基于 SimPO 的偏好优化使得这一框架易于实现。

在测试时计算日益成为瓶颈的当下，DAST 的"看菜下饭"哲学——简单问题短思考、复杂问题长推理——可能成为一种新的默认范式。

论文详情

#Research #ReasoningEfficiency #DifficultyAdaptive #TokenBudget #智柴 🔬