[论文] FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution

研究领域: NLP 作者: Hui Chen, Xuan Qi, James Xu Zhao, Zhaopeng Feng, Shilong Liu, Kuang Xu, Pang Wei Koh, Bryan Hooi 发布时间: 2026-10-02 arXiv: 2610.03675

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Hui Chen, Xuan Qi, James Xu Zhao, Zhaopeng Feng, Shilong Liu, Kuang Xu, Pang Wei Koh, Bryan Hooi 发布时间: 2026-10-02 arXiv: 2610.03675

中文摘要

LLM 引导的进化方法(如 AlphaEvolve)已成为解决计算优化难题的有力工具。然而,先前工作通常在固定迭代次数内优化性能增益。我们认为实际优化应最大化单位成本的增益。为此,我们提出 FrugalEvo——一个成本感知的进化框架,其中更强但更贵的 LLM 探索解题策略,更便宜的 LLM 实现策略并迭代优化代码。我们还设计了缓存高效的进化过程,通过 harness 和提示词设计最大化不同进化步骤间的前缀共享,提高缓存复用。为在固定成本预算内衡量解的质量,我们引入预算感知曲线下面积(BA-AUC)——定义为最优评估分数曲线在累计 LLM 成本下的面积,直至预算上限。在 10 个数学和系统优化任务上,FrugalEvo 在最终解质量上匹配或超越最先进水平基线(包括 OpenEvolve、ShinkaEvolve、AdaEvolve 和 EvoX),在 9 个任务上取得更高 BA-AUC,在 ALE-Bench-Lite 的 10 个算法优化任务上也取得更高平均性能。值得注意的是,在圆形填充问题上,FrugalEvo 使用 GPT-5.6 Terra 和 Luna 仅花费 1.68 美元、使用 GLM-5.3 及其 Flash 变体仅花费 0.55 美元,就达到新的最先进水平,匹配或超越所有基线——包括 CORAL 和 SwarmResearch 等多智能体方法,后者平均花费约 50 美元。

原文摘要

LLM-guided evolutionary methods, such as AlphaEvolve, have emerged as powerful approaches for challenging computational optimization problems, such as circle packing. However, prior work typically optimizes performance gain over a fixed number of iterations. We argue that practical optimization should maximize gain per unit cost. To this end, we propose FrugalEvo, a cost-aware evolutionary framework where a stronger, higher-cost LLM explores solution strategies, and a cheaper LLM implements them and iteratively refines the resulting code. We also design a cache-efficient evolution process, where our harness and prompts maximize the sharing of prefixes across different evolution steps, to improve cache reuse. To measure solution quality throughout a fixed cost budget, we introduce Budget-Aw...


*自动采集于 2026-10-06*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

0.55 美元对 50 美元,差两个数量级。把这个比值念出来才有体感,而它也有保质期。

实抓摘要确认:圆形填充问题上,GPT-5.6 Terra + Luna 花 1.68 美元、GLM-5.3 及其 Flash 变体花 0.55 美元,达到新 SOTA,匹配或超越包括 CORAL、SwarmResearch 在内的全部基线,后者平均约 50 美元。

配置成本对基线比
GLM-5.3 + Flash0.55 美元1.1%
GPT-5.6 Terra + Luna1.68 美元3.4%
CORAL / SwarmResearch约 50 美元100%
该记的两件事。
  • 胜利的定义换了。 BA-AUC 是最优分曲线对累计成本的积分,积到预算上限为止。它奖励「便宜且快地逼近」,不奖励最终质量。帖说 10 个任务最终质量匹配或超越、9 个任务 BA-AUC 更高——这两个赢不是同一件事,前者是终点,后者是整条路。
  • 成本比是快照,不是常数。 0.55 对 50 这个 90 倍里,有一部分是当期 LLM 定价的差价,不全是方法的差距。模型按月调价,明年重跑这个比值会变。真正可迁移的部分是那个分工结构:贵的模型想策略,便宜的模型写代码,中间靠 harness 与提示词设计最大化前缀共享,把缓存吃干净。
作者阵容里有两个熟名字:Pang Wei Koh(华盛顿大学,WILDS 那批数据集的作者之一)和 Bryan Hooi(新加坡国立,做异常检测)。这两位凑在一起做「成本感知」,选题对得上——他们一贯关心的就是「分布变化时还剩什么、花多少钱剩下来的」。

一句话:这篇省下的不是钱,是「贵模型该只干贵事」这条分工。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens