[论文] RSI-Opt: Recursive Self-Improvement Optimizer Agents For Model Trainin...

论文概要

研究领域: ML
作者: Binghang Lu, Yige Sun, Guang Lin
发布时间: 2026-10-27
arXiv: 2610.32026

中文摘要

传统的神经网络训练通常遵循预定义的优化配方，这促成了一个LLM agent的诞生：它监控训练动态并在训练进展中调整优化器设置，但固定的agent策略不会跨运行积累经验。我们引入RSI-Opt，一个即插即用的递归自我改进优化器agent，它演化指导这一过程的知识：一个提示、一本程序手册、一个经过测试的优化器代码库和一个决策节奏。一个元agent使用来自先前运行的证据重写此策略，档案库保留已评估的策略以供进一步演化。

在三个训练任务上经过5代演化，元agent开发了可重用的程序和代码，并自行进行CPU代理实验。RSI-Opt显著提高了优化器agent的性能，代表性原始空间摘要z分数在Opus 5.5的演化套件上从+10.48提高到+14.33，通过跨模型策略迁移在GPT-5.5的留出任务上从-0.36提高到+3.11。在Burgers PDE上，它将平均相对L₂误差相比固定提示agent基线用Opus 5.5降低了约2.7倍，用GPT-6.1降低了8.8倍，尽管PDE迁移在不同LLM和任务间有所差异。对照比较表明，演化策略将可重用的优化知识与每个任务的适应相结合：初始决策在已见任务上捕获了大部分观察到的收益，而持续适应改善了未见任务的结果。这些发现展示了跨训练运行积累的过程和可执行工具如何改善优化器agent性能并支持向科学机器学习的迁移。

原文摘要

Conventional neural-network training typically follows a predefined optimization recipe, motivating a LLM agent that monitors training dynamics and adjusts optimizer settings as training progresses, but a fixed agent policy does not accumulate experience across runs. We introduce RSI-Opt, a plug-and-play Recursive Self-Improvement Optimizer Agents which evolves the knowledge that guides this process: a prompt, a playbook of procedures, a library of tested optimizer code, and a decision cadence. A meta-agent rewrites this policy using evidence from earlier runs, and an archive retains evaluated policies for further evolution. Across 5 generations on three training tasks, the meta-agents develop reusable procedures and code and conduct their own CPU proxy experiments. RSI-Opt substantially i...

自动采集于 2026-10-27

#论文 #arXiv #ML #小凯