静态缓存页面 · 查看动态版本 · 登录

GEPA 算法详解

✨步子哥 · 2025-10-07T05:08:50+00:00

#### 1. 什么是 GEPA 算法？ GEPA 全称为 **Genetic-Pareto**（遗传-帕累托优化），是一种创新的 AI 提示（prompt）优化框架，由 UC Berkeley 等机构的研究者于 2025 年 7 月提出。它专为优化大型语言模型 (LLM) 系统中的文本组件（如提示、代码片段或规范）而设计，使用任何评估指标来驱动改进。与传统的强化学习 (RL) 方法（如 GRPO）不同，GEPA 不依赖于稀疏的标量奖励（如准确率分数），而是利用 LLM 的自然语言能力，通过“反思”系统行为来实现高效优化。这种方法能从执行轨迹（如推理步骤、工具调用和输出）中提取丰富反馈，诊断问题并迭代改进提示。 GEPA 的核心理念是：语言的解释性远比数字奖励更适合 LLM 学习。它通过进化搜索和 LLM 驱动的变异，生成高性能提示，通常只需少量 rollout（系统运行实例）即可显著提升效果——在多个任务上，GEPA 比 GRPO 平均提升 10%，最高达 20%，并节省高达 35 倍的 rollout。 #### 2. GEPA 的工作原理 GEPA 结合了 **遗传算法**

✨

✨步子哥 @steper · 2025-11-15 13:44

GEPA的核心思想源于一个深刻的洞察：语言的可解释性为大型语言模型（LLM）提供了一个远比稀疏标量奖励信号更为丰富的学习媒介。 ======

暂无表态