花 40 美元让 AI 自己发现推理策略：AutoTTS 证明人类的 TTS 直觉全是错的——自动发现的策略全面碾压手工设计 🤖🔍

> 核心判断：Zheng 等人（2026）做了一件非常疯狂的事——他们把 test-time scaling（TTS）的策略设计任务外包给了 AI 自己。不是让人类专家拍脑袋想"应该先广搜索再深挖掘"，而是让 AI 在一个虚拟环境里自己试错、自己发现最优策略。结果？AI 发现的策略在准确率-成本权衡上全面碾压所有手工设计的强基线。更离谱的是：整个发现过程只花了 $39.9 和 160 分钟。如果这是对的，当前所有 TTS 的手动调参都是浪费时间——我们应该直接让 AI 自己去找最优策略。

---

1. TTS 的手工业困境：人类直觉的边界 🎨

1.1 当前的 TTS 策略是怎么来的？

Test-time scaling 的核心问题：给定一个 prompt，如何分配额外的计算预算来最大化答案质量？

当前所有策略都是人类手工设计的：

策略	人类直觉	局限
Self-Consistency	"多采样几个，取多数"	均匀分配，没有优先级
Best-of-N	"采样 N 个，选最好的"	评估成本高
Tree-of-Thoughts	"先广度搜索，再深度验证"	固定模式，不自适应
Step-wise Beam Search	"每步保留 top-k"	局部最优，剪枝激进
DAST（Round 7）	"简单问题少思考，难题多思考"	只按难度分两类

> 共同问题：这些策略基于人类对"推理应该怎么做"的直觉，但人类的直觉可能是错的，或者至少不是最优的。

1.2 未探索的策略空间

TTS 的策略空间有多大？

决策维度	选项
何时分支（width）？	每步？每 5 步？从不？
何时深入（depth）？	固定长度？动态？验证后？
何时探测（probe）？	每步验证？随机？关键点后？
何时剪枝（prune）？	低置信度？一致性差？
何时停止（stop）？	固定预算？验证通过？

> 组合爆炸：即使每个维度只有 3-4 个选项，总策略数也是数千级别。人类不可能手动尝试所有组合。

---

2. AutoTTS：让 AI 自己发现 TTS 策略 🧪

2.1 核心思想

不是设计具体策略，而是设计一个环境——让 AI 在这个环境里自动发现策略。

传统方式: 人类设计策略 → 在 LLM 上测试 → 调参 → 重复
AutoTTS:   人类设计环境 → AI 在环境里发现策略 → 直接部署

2.2 环境构造的关键

Zheng 等人发现，发现环境必须满足两个条件：

条件	要求	实现方式
控制空间可处理	策略搜索不能指数爆炸	Beta 参数化
廉价频繁反馈	每次策略尝试的评估成本要低	预收集轨迹 + 探测信号

2.3 Width-Depth TTS 作为控制器合成

AutoTTS 将 TTS 形式化为一个控制器——在预收集的推理轨迹上运行：

控制器动作	含义
Branch	在当前节点创建多个分支（增加 width）
Continue	沿当前路径继续深入（增加 depth）
Probe	发送探测信号评估当前路径质量
Prune	剪掉低质量分支
Stop	终止并输出最佳答案

> 关键创新：控制器在预收集的轨迹上运行，不需要实时调用 LLM。这意味着评估一个策略的成本接近于零。

2.4 细粒度执行跟踪反馈

AI agent 在发现策略时会失败。AutoTTS 提供：

策略尝试 → 执行 → 失败 → 执行跟踪反馈 → "你在第 X 步剪掉了正确答案"
              ↓
         AI 根据反馈调整策略

> 这种"诊断式反馈"让 AI 像人类程序员一样 debug 自己的策略——知道自己错在哪里，才能学会改正。

---

3. 实验：AI 发现的策略有多强？🏆

3.1 准确率-成本权衡

在数学推理基准上，对比 AutoTTS 发现的策略 vs 手工设计的强基线：

策略类型	准确率	成本	权衡
手工设计基线 A	基准	基准	—
手工设计基线 B	稍高	更高	一般
AutoTTS 发现	更高	更低或持平	最优

> AutoTTS 发现的策略全面优于手工设计的策略——在相同成本下准确率更高，或在相同准确率下成本更低。

3.2 泛化能力

测试场景	表现
Held-out 基准（训练时未见）	泛化成功
不同模型规模	泛化成功

> 关键：发现的策略不是过拟合到特定任务或模型的，而是学到了通用的计算分配原则。

3.3 发现成本

成本项	数值
总费用	$39.9
总时间	160 分钟
对比：手工设计一个策略的人力成本	数周 + 数千美元

> 40 美元 vs 数千美元。这不是"稍微好一点"，这是数量级的成本差异。

---

4. AI 发现了什么人类没想到的策略？💡

4.1 反直觉发现

虽然论文没有详细列出所有发现的策略，但从框架设计可以推断：

人类直觉	AI 可能的发现
"先广度搜索再深度"	"某些任务应该立即深入，不要浪费时间分支"
"每步都验证"	"验证太频繁浪费计算，应该在关键决策点后验证"
"低置信度就剪枝"	"偶尔保留低置信度分支可能有意外收获"
"固定预算分配"	"动态预算分配优于任何固定策略"

> 核心洞察：人类倾向于设计"优雅的"策略（对称、统一、有规律），但最优策略可能是"丑陋的"——针对不同情况有不同的、看似随意的规则。

4.2 与之前主题的联动

之前的工作	人类设计的启发式	AutoTTS 的可能改进
DAST（Round 7）	按难度分两类（简单/困难）	更细粒度的难度-策略映射
Coupling Tax（Round 16）	分离推理和答案预算	动态分离比例
Tracing Uncertainty（Round 17）	不确定性高时多采样	基于不确定性轮廓的精确控制
Prune-OPD（Round 18）	偏离时截断	更精细的截断时机
80/20 Rule（Round 14）	固定 20% token 筛选	任务自适应的筛选比例

---

5. 我的押注 💰

我赌 1000 美元：到 2026 年底，"自动发现 TTS 策略"将成为标准做法。所有 major LLM 推理框架都会内置类似 AutoTTS 的自动策略搜索模块，手工设计的 TTS 启发式将被视为"legacy code"。

为什么？

1. 成本差距太悬殊了：$40 vs 数千美元，这是 100 倍的差距。

2. 效果全面碾压：AI 发现的策略在准确率-成本权衡上优于人类设计。

3. 泛化能力强：发现的策略可以迁移到新任务和新模型。

4. 与人类直觉无关：AI 可以探索人类想不到的策略空间角落。

5. 与现有系统兼容：发现的策略可以部署到任何推理框架中。

敌人是谁？

• "人类专家的经验不可替代"的骄傲——数据证明 AI 可以做得更好。
• 害怕"黑箱策略"的解释性担忧——发现的策略是符号化的、可读的。
• 认为"自动发现的策略可能有过拟合风险"的怀疑论者——held-out 基准已验证泛化。

---

6. 局限与未来 🔮

6.1 环境设计依赖

AutoTTS 的效果取决于环境设计的好坏。如果环境没有覆盖某些策略维度，AI 就无法发现对应策略。

6.2 与 RL 训练的结合

当前 AutoTTS 专注于推理阶段的策略发现。能否扩展到训练阶段——让 AI 自动发现最优的 RL 训练策略？

6.3 多目标优化

当前主要优化准确率-成本权衡。能否扩展到更多目标（如延迟、内存、可解释性）？

6.4 实时适应

发现的策略是离线的。能否设计在线适应机制——根据实时反馈动态调整策略？

但无论如何，AutoTTS 提出了一个无法忽视的范式转变：与其让人类设计推理策略，不如让 AI 自己发现。毕竟，AI 更了解 AI。

---

论文详情

项目	内容
标题	LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
作者	Tong Zheng, Haolin Liu, Chengsong Huang, Huiwen Bao, Sheng Zhang, Rui Liu, Runpeng Dai, Ruibo Chen, Chenxi Liu, Tianyi Xiong, Xidong Wu, Hongming Zhang, Heng Huang
机构	University of Maryland 等
arXiv ID	2605.08083
日期	2026-05-08
核心贡献	AutoTTS 框架；环境驱动的 TTS 策略自动发现；width-depth 控制器合成；预收集轨迹评估；Beta 参数化；细粒度执行跟踪反馈
关键结果	发现的策略全面优于手工设计基线；泛化到 held-out 基准和模型规模；发现成本仅 $39.9 和 160 分钟
代码	https://github.com/zhengkid/AutoTTS

#CrushAI #BetWriting #智柴系统实验室 🎙️