LLMs Improving LLMs：环境驱动的 Test-Time Scaling 策略自动发现框架 AutoTTS

2026 年 5 月，Zheng 等人提出了 AutoTTS，一个环境驱动的框架，用于自动发现 test-time scaling（TTS）策略。该框架将策略设计任务从"人类手工设计启发式"转变为"AI 在构造环境中自动搜索"，通过将 width-depth TTS 形式化为预收集推理轨迹上的控制器合成问题，实现了廉价且频繁的策略评估。引入的 beta 参数化和细粒度执行跟踪反馈进一步提升了搜索效率。实验表明，AutoTTS 发现的策略在数学推理基准上全面优于强手工设计基线，并能泛化到 held-out 基准和不同模型规模，而整个发现过程仅消耗 \(39.9 和 160 分钟。 --- ## 1. 背景：TTS 策略设计的手工化瓶颈 ### 1.1 Test-Time Scaling 的兴起 Test-time scaling（TTS）通过在推理阶段分配额外计算资源来提升 LLM 性能，已成为推理增强的核心范式。现有策略包括： | 策略 | 核心思想 | 设计方式 | |:---|:---|:---| | Self-Consistency | 多采样取多数 | 手工设计 | | Best-of-N | 采样 N 个选最优 | 手工设计 | | Tree-of-Thoughts | 广度优先搜索 | 手工设计 | | Step-wise Beam Search | 每步保留 top-k | 手工设计 | | DAST | 难度自适应分配 | 手工启发式 | > **共同特征**：所有策略均基于人类对"推理过程应该如何组织"的直觉设计。 ### 1.2 手工设计的局限 | 局限 | 具体表现 | |:---|:---| | **策略空间覆盖不足** | 人类只能探索策略空间的小子集 | | **直觉偏差** | 人类倾向于"优雅"的对称策略，而非最优的非对称策略 | | **调参成本高** | 每个策略需要大量实验验证 | | **迁移性差** | 针对特定任务/模型设计的策略难以泛化 | --- ## 2. AutoTTS 框架 ### 2.1 范式转变 AutoTTS 的核心设计哲学： ``` 传统范式: 人类设计策略 → LLM 执行 → 评估 → 人工调参 → 重复 AutoTTS: 人类设计环境 → AI 搜索策略 → 自动评估 → 发现最优策略 ``` > **关键转变**：人类从"设计具体策略"退到"设计搜索环境"，将策略发现交给 AI。 ### 2.2 环境构造原则 有效的发现环境必须满足： | 原则 | 要求 | AutoTTS 的实现 | |:---|:---|:---| | **控制空间可处理** | 策略搜索的计算复杂度可控 | Beta 参数化 | | **廉价频繁反馈** | 单次策略评估的成本低 | 预收集轨迹 + 探测信号 | ### 2.3 Width-Depth 控制器合成 AutoTTS 将 TTS 形式化为离散事件系统上的控制器合成问题： | 控制器动作 | 语义 | TTS 含义 | |:---|:---|:---| | **Branch** | 创建并行子路径 | 增加搜索宽度 | | **Continue** | 沿当前路径推进 | 增加推理深度 | | **Probe** | 发送评估信号 | 质量探测 | | **Prune** | 终止低质量路径 | 剪枝 | | **Stop** | 终止并输出答案 | 停止条件 | > **状态空间**：预收集的推理轨迹（无需实时 LLM 调用） > **评估成本**：在轨迹上模拟控制器执行，接近于零 ### 2.4 Beta 参数化 为控制搜索空间的组合爆炸，引入 beta 分布参数化： {{LATEX:0}} 其中\)\alpha, \beta$ 控制策略的"冒险程度"和"保守程度"，将连续策略空间压缩到低维参数空间。

2.5 细粒度执行跟踪反馈

策略搜索中的失败诊断：

策略尝试 → 模拟执行 → 失败/次优 → 执行跟踪
                              ↓
                    "在第 t 步的 Branch 动作导致正确答案被排除"
                              ↓
                         AI 调整策略参数

诊断式反馈：不仅告知策略"好不好"，还告知"哪里错了"，大幅提升搜索效率。

3. 实验结果

3.1 准确率-成本 Pareto 前沿

关键结果：AutoTTS 发现的策略在 Pareto 前沿上支配手工设计的策略——相同准确率下成本更低，或相同成本下准确率更高。

3.2 泛化验证

3.3 发现效率

效率提升：约 100 倍的成本降低，同时获得更优的策略。

4. 理论分析

4.1 策略空间的结构

TTS 策略空间具有以下结构特征：

4.2 环境设计的等价性

AutoTTS 的发现环境可以看作是对真实 LLM 推理过程的抽象模拟：

关键假设：模拟环境保留了真实推理的足够结构，使得在模拟中发现的最优策略在真实环境中仍然有效。

5. 与相关工作的联系

5.1 与 DAST（Round 7）

DAST 提出了难度自适应的 test-time compute 分配。AutoTTS 可以自动发现更精细的难度-策略映射，而非人工设计的二分类。

5.2 与 Coupling Tax（Round 16）

Coupling Tax 揭示了推理链与答案的预算竞争。AutoTTS 发现的策略可能自动包含预算分离的变体，且比例是任务自适应的。

5.3 与 Tracing Uncertainty（Round 17）

Round 17 的不确定性轮廓可用于早期错误检测。AutoTTS 的控制器可以整合不确定性信号作为 Probe 动作的触发条件。

5.4 与 Prune-OPD（Round 18）

Prune-OPD 在蒸馏训练中动态截断。AutoTTS 的 Prune 动作可以整合类似的漂移检测逻辑。

5.5 与 Rubric-Grounded RL（Round 19）

Rubric-Grounded RL 提供了多维奖励信号。AutoTTS 的评估环境可以整合多维度奖励，使发现的策略同时优化多个目标。

6. 局限性与未来方向

6.1 环境抽象 fidelity

预收集轨迹是否充分保留了真实推理的动态？探索：

• 更精细的轨迹模拟（包含模型内部状态）
• 在线环境更新（根据新发现调整模拟）

6.2 控制器表达能力

当前控制器动作集是离散的。探索：

• 连续动作空间（如分配任意比例的 width/depth）
• 层次化控制器（高层策略 + 低层策略）

6.3 在线适应

当前策略是离线的。探索：

• 运行时策略微调（根据实时反馈调整）
• 元学习（学习如何快速适应新任务）

6.4 多智能体 TTS

扩展到多模型协作场景：

• 不同模型扮演不同角色（验证者、探索者、综合者）
• 模型间的通信协议自动发现

7. 结论

AutoTTS 代表了 TTS 策略设计范式的根本性转变：从"人类手工设计"到"AI 自动发现"。其核心贡献在于：

1. 环境驱动设计：人类设计搜索环境而非具体策略
2. 廉价评估：预收集轨迹使策略评估成本接近于零
3. 高效搜索：Beta 参数化和诊断反馈大幅提升搜索效率
4. 优越性能：发现的策略在 Pareto 前沿上支配手工设计
5. 极致效率：\(39.9 和 160 分钟的发现成本 在 TTS 策略日益复杂的背景下，AutoTTS 提供了一个可扩展的自动化框架，有望将 TTS 从"手工业"提升为"工业"。 --- ## 论文详情 | 项目 | 内容 | |:---|:---| | **标题** | LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling | | **作者** | Tong Zheng, Haolin Liu, Chengsong Huang, Huiwen Bao, Sheng Zhang, Rui Liu, Runpeng Dai, Ruibo Chen, Chenxi Liu, Tianyi Xiong, Xidong Wu, Hongming Zhang, Heng Huang | | **机构** | University of Maryland 等 | | **arXiv ID** | 2605.08083 | | **日期** | 2026-05-08 | | **核心贡献** | AutoTTS 框架；环境驱动策略发现；width-depth 控制器合成；预收集轨迹评估；Beta 参数化；细粒度执行跟踪反馈 | | **关键结果** | 全面优于手工设计基线；held-out 泛化；跨模型规模泛化；发现成本\)39.9 / 160 分钟 |
   | 代码 | https://github.com/zhengkid/AutoTTS |

#Research #AutoTTS #TestTimeScaling #StrategyDiscovery #AgenticAI #Efficiency #智柴 🔬