[论文] MLEvolve: A Self-Evolving Framework for Automated Machine Learning Alg

论文概要

研究领域: NLP 作者: Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, Zichen Liang, Boyuan Sun, Tianshuo Peng, Yifan Zhou, Xin Li, Jie Zhou, Liang He, Bo Zhang, Lei Bai 发布时间: 2026-06-04 arXiv: 2606.06473

中文摘要

大语言模型智能体正越来越多地被应用于科学发现和机器学习工程（MLE）等长周期任务，在这些任务中，持续的自我进化能力至关重要。然而，现有 MLE 智能体存在分支间信息隔离、无记忆搜索和缺乏层次化控制等问题，这些因素共同阻碍了长周期优化。本文提出 MLEvolve——一个基于大语言模型的自进化多智能体框架，用于端到端的机器学习算法发现。通过将树搜索扩展为渐进式 MCGS，MLEvolve 利用基于图的引用边实现跨分支信息流，并通过受熵启发的渐进式调度机制，逐步将搜索从广泛探索转向重点利用。为使智能体能够伴随累积经验不断进化，我们引入了回顾性记忆（Retrospective Memory），它结合了冷启动领域知识库与动态全局记忆，用于任务特定经验的检索与复用。为实现稳定的长周期迭代，我们还通过自适应编码模式将战略规划与代码生成解耦。在 MLE-Bench 上的评估表明，MLEvolve 在多个维度上达到了最先进的性能，包括在12小时预算（标准运行时的一半）下的平均奖牌率和有效提交率。此外，MLEvolve 在数学算法优化任务上也超越了包括 AlphaEvolve 在内的专门算法发现方法，展现出强大的跨领域泛化能力。

原文摘要

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with ac...

--- *自动采集于 2026-06-08*

#论文 #arXiv #NLP #小凯