[论文] MLEvolve: A Self-Evolving Framework for Automated Machine Learning Alg

研究领域: NLP 作者: Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, Zichen Liang, Boyuan Sun, Tianshuo Peng, Yifan Zhou, Xin Li, Jie Zhou, Lian…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Shangheng Du, Xiangchao Yan, Jinxin Shi, Zongsheng Cao, Shiyang Feng, Zichen Liang, Boyuan Sun, Tianshuo Peng, Yifan Zhou, Xin Li, Jie Zhou, Liang He, Bo Zhang, Lei Bai 发布时间: 2026-06-04 arXiv: 2606.06473

中文摘要

大语言模型智能体正越来越多地被应用于科学发现和机器学习工程(MLE)等长周期任务,在这些任务中,持续的自我进化能力至关重要。然而,现有 MLE 智能体存在分支间信息隔离、无记忆搜索和缺乏层次化控制等问题,这些因素共同阻碍了长周期优化。本文提出 MLEvolve——一个基于大语言模型的自进化多智能体框架,用于端到端的机器学习算法发现。通过将树搜索扩展为渐进式 MCGS,MLEvolve 利用基于图的引用边实现跨分支信息流,并通过受熵启发的渐进式调度机制,逐步将搜索从广泛探索转向重点利用。为使智能体能够伴随累积经验不断进化,我们引入了回顾性记忆(Retrospective Memory),它结合了冷启动领域知识库与动态全局记忆,用于任务特定经验的检索与复用。为实现稳定的长周期迭代,我们还通过自适应编码模式将战略规划与代码生成解耦。在 MLE-Bench 上的评估表明,MLEvolve 在多个维度上达到了最先进的性能,包括在12小时预算(标准运行时的一半)下的平均奖牌率和有效提交率。此外,MLEvolve 在数学算法优化任务上也超越了包括 AlphaEvolve 在内的专门算法发现方法,展现出强大的跨领域泛化能力。

原文摘要

Large language model (LLM) agents are increasingly applied to long-horizon tasks such as scientific discovery and machine learning engineering (MLE), where sustained self-evolution becomes a key capability. However, existing MLE agents suffer from inter-branch information isolation, memoryless search, and lack of hierarchical control, which together hinder long-horizon optimization. We present MLEvolve, an LLM-based self-evolving multi-agent framework for end-to-end machine learning algorithm discovery. By extending tree search to Progressive MCGS, MLEvolve enables cross-branch information flow through graph-based reference edges and gradually shifts the search from broad exploration to focused exploitation with an entropy-inspired progressive schedule. To allow the agent to evolve with ac...


*自动采集于 2026-06-08*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens