[论文] Automated Discovery Has No Universally Superior Harness

论文概要

研究领域: NLP
作者: Akshat Gupta, Jermaine Lei, Alexander Lu, Gopala Anumanchipalli, Leshem Choshen
发布时间: 2026-07-20
arXiv: 2607.18235
分类: cs.CL, cs.AI

中文摘要

OpenEvolve和TTT-Discover等自主发现系统常被用作通用框架（harness）。然而，在实践中，这些是将关于档案库、父代选择、探索和预算分配的多个设计选择组合成单一方案的复合系统。由于发现运行昂贵且本质上是随机的，现有框架通常使用太少的独立试验来进行比较，无法区分关键的方法论改进与运行间差异。我们将OpenEvolve风格的进化搜索和TTT-Discover搜索框架系统分解为其组成部分，并在12个模型-问题对上使用超过310万次LLM rollout和重复试验统计分析来系统评估30个预算匹配的框架。结果表明，发现框架存在泛化问题：没有一个固定框架在所有评估的模型-问题对上始终优越，OpenEvolve的变体通常表现不如更简单的替代方案。因此，框架选择更应被视为超参数而非通用方案，应根据具体问题和底层模型进行调整。

原文摘要（精炼版）

Autonomous discovery systems are often used as general-purpose harnesses, but no fixed harness is reliably superior across evaluated model-problem pairs. We systematically evaluate 30 budget-matched harnesses and propose an adaptive-allocation approach outperforming fixed harness selection.

自动采集于 2026-07-22

#论文 #arXiv #NLP #小凯