[论文] SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimi...

论文概要

研究领域: ML 作者: Qile Jiang, George Em Karniadakis 发布时间: 2026-11-05 arXiv: 2611.08483

中文摘要

LLM 引导的进化搜索使用 AI 智能体来改进数学和计算问题的程序，通过迭代优化解决方案和组合高分方法。然而该过程通常很慢，因为 LLM 需要为每轮生成长文本思维链，并且必须重复此生成多次以维持种群多样性。我们提出 SwarmEvolve，一个每轮数百个低成本智能体以群体方式工作的框架，它们在潜空间中推理而不解码为文本，并通过传递 KV 缓存来共享信息。每个群体从不同的角度研究问题。新颖性过滤器通过直接测量智能体隐藏状态向量之间的距离来保留最独特的智能体想法。想法的交叉在潜空间中自然发生，因为总结智能体接收所有群体成员的合并 KV 缓存。在数学发现和科学计算的 21 个问题上，SwarmEvolve 获得了最高的平均分数，并且达到其他最先进框架 60 分钟才能达到的最佳分数只需 3 到 8 分钟的中位数时间。在几个问题上，使用 Qwen3 8B 的 SwarmEvolve 改进了 AlphaEvolve 最初使用前沿 LLM 发现的解决方案。我们的工作表明，在潜空间中通信的智能体群体为科学问题的程序搜索提供了一种快速、低成本的方法。

原文摘要

LLM-guided evolutionary search uses AI agents to improve programs for mathematical and computational problems by iteratively refining solutions and combining high-scoring methods. However, the process is often slow because the LLM generates a long textual chain of thought for each round and must repeat this generation many times to maintain population diversity. We present SwarmEvolve, a framework in which hundreds of low-cost agents per round work in swarms, reason in latent space without decoding to text, and share information by passing KV caches. Each swarm studies the problem from a different angle. A novelty filter keeps the most distinct agent ideas by directly measuring the distances between the agents' hidden state vectors. Crossover of ideas happens naturally in latent space, as ...

#论文 #arXiv #ML #小凯