Strategist 与 evolver.py 深度对比研究
研究日期:2026-11-16 研究对象:论文 *Strategist: Evolving Reasoning with Agents*(arXiv:2611.03618v1)、官方实现 zlab-princeton/Strategist,以及 linkerlin/evolver.py 的公开 master 快照。
目录
- 执行摘要
- 1\. 研究范围、快照与证据标准
- 1.1 核查对象与可复核边界
- 1.2 三层证据不能混为一谈
- 2\. 本质区别:优化“怎样回答”,还是治理“怎样改代码”
- 2.1 Strategist 的双层循环
- 2.2 evolver.py 的信号—宿主—结算闭环
- 2.3 一张表看清二者不是同类竞品
- 3\. 策略表示与经验积累:Blueprint 和 Gene 并非同义替换
- 3.1 Blueprint 是“可执行的推理结构”
- 3.2 Gene 与 Capsule 是“可治理的工程经验”
- 3.3 两种积累机制的复利来源不同
- 4\. 搜索、选择与验证:谁的“进化”更强,取决于你问哪一种强
- 4.1 Strategist 的候选竞争与混合检索
- 4.2 evolver.py 的信号匹配与验收门禁
- 4.3 两者都考虑数据泄漏,但验收语义不同
- 5\. Strategist 论文数据复核:哪些数字成立,哪些必须加脚注
- 5.1 30 个主基准:74.7%、74.0% 与 0.61×均能复算
- 5.2 一次性检索:准确率迁移较好,23% 降本不是全 10 项平均
- 5.3 跨模型迁移:不改蓝图属实,巨大增幅需拆分原因
- 5.4 消融支持蓝图库价值,但搜索成本不可忽略
- 6\. evolver.py 的证据强度:工程闭环扎实,效果结论仍需原始记录
- 6.1 工程能力是它最可信的价值主张
- 6.2 README 的 p 值不能替代公开实验材料
- 6.3 两个项目的公开复现完整性各有短板
- 7\. 原始宣传文案逐项核查
- 7.1 “大模型只完成一半”是有启发性的框架,不是可测量定律
- 7.2 核心数字与迁移说法的判定表
- 8\. 应用价值、组合架构与落地建议
- 8.1 何时选择哪一个
- 8.2 最有价值的组合:Strategist 做探索,evolver.py 做治理
- 8.3 最小可行试点与评估清单
- 9\. 结论
——推理策略程序搜索、工程自进化治理与宣传口径核查
研究日期:2026-11-16
研究对象:论文 *Strategist: Evolving Reasoning with Agents*(arXiv:2611.03618v1)、官方实现 zlab-princeton/Strategist,以及 linkerlin/evolver.py 的公开 master 快照。
执行摘要
核心结论:两者不是同一个赛道上的两个可互换实现。 Strategist 优化的是推理时的模型调用程序:如何分解问题、调用哪个模型档位、是否投票、何时验证,以及怎样把这些结构组合成可复用蓝图。evolver.py 优化和治理的是开发时的工程变更过程:从日志与运行状态提取信号,选择变异策略,交给外部宿主 Agent 修改代码,再经过测试、适应度、审计和人工监督完成结算。二者都不训练模型权重,都强调经验沉淀,但“进化”的单位、反馈信号和成功定义不同,因此不能直接用论文的 24/30 或 39% 给 evolver.py 背书,也不能用 evolver.py 的工程门禁去推断 Strategist 已具备生产级变更治理能力(Strategist 论文, evolver.py README)。
论文最有价值的贡献不是“又一种提示词技巧”,而是把推理策略表示为自由形式、统一接口、可组合的 Python 蓝图,并让每一轮候选及其测量卡、经验笔记进入跨任务共享库。主实验确实报告平均测试准确率 74.7% 对 74.0%、每基准平均加权 token 成本比 0.61×;但 24/30 的“胜”是准确率或成本任一改善且另一项不明显恶化的复合判据,并不是 24 项同时更准且更便宜。39% 也不含发现策略的元搜索成本,不是普遍适用的真实云账单降幅(论文第 4—7 节及附录 C)。
evolver.py 的突出价值则在工程闭环:Gene、Capsule、Episode Record 等结构化资产,MCP 宿主接管,内容寻址,凭证脱敏,实例外锁,软失败草稿保留,硬阻断回滚,以及仓外冻结任务、密封验证集、等长安慰剂、AB/BA 交错和样本量门槛。其公开仓库的测试与模块数量说明工程投入较大,却不等于跨任务效果已被独立验证;README 中的显著性数字因缺少本次快照内可复核的逐题原始结果,仍应视为项目方声明(Gene/Capsule 模型, 评估教程, README)。
| 实际问题 | 更合适的选择 | 原因 |
|---|---|---|
| 固定模型不变,希望降低问答、数学、代码等任务的推理调用成本 | Strategist | 直接搜索准确率—成本联合目标,并允许策略内部跨模型档位路由(论文)。 |
| 希望编码 Agent 在多轮修改中复用修复策略,并保留审计、回滚与人工门禁 | evolver.py | 核心资产和结算流程就是围绕工程变异与经验治理设计(README)。 |
| 既要自动发现新推理策略,又要安全地长期运行、验收和共享 | 组合二者 | Strategist 负责候选程序探索,evolver.py 负责执行隔离、测试、版本、资产晋级与审计;这是本报告提出的组合架构,不是任一项目已经发布的功能。 |
| 想判断谁在统一榜单上“更强” | 现有证据不足 | 二者没有共同任务、共同指标和可比较的公开原始运行结果。 |
1\. 研究范围、快照与证据标准
1.1 核查对象与可复核边界
Strategist 论文 v1 于 2026-11-02 提交,作者为 Taiming Lu、Qi Xu、Zhigang Hua、Zhuang Liu,署名机构为 Princeton University 与 Meta。论文实验使用冻结的 Qwen3-0.6B、1.7B、4B 执行模型,每个档位分 thinking 与 nothink;元策略模型写为 GPT-6,附录实现标识为 gpt-6-sol,通过 Codex CLI 调用。这里的“冻结”指不更新模型参数,策略代码与 Prompt 则持续变化(论文首页、第 4 节与附录 A.4)。官方代码核查固定在提交 7a58cf44bc6101326817ba836afd7608f8a9766c,以避免 master 后续变化影响判断(官方仓库)。
evolver.py 的核查快照声明版本 1.114.0、Python ≥3.12、Apache-2.0,并自述为 @evomap/evolver 的独立 clean-room Python 实现。它通过 MCP stdio 与 Cursor、Claude Code、Codex、ZCode 等宿主协作;引擎不依赖一个专有 LLM 调度器,宿主才执行实际代码修改。由于 master 是可移动分支,本报告对具体机制均链接到对应源码路径,而不把版本号当作永久内容哈希(pyproject.toml, README)。
本研究核对论文正文与附录表格、检查两套公开源码的关键实现,并复算主要均值与成本比;没有重新支付元模型搜索费用、重跑 30 个完整搜索,也没有在相同硬件上复现端到端结果。因此,文中的“确认”分为两类:一类是原文数字和代码机制得到核对,另一类是公开测试在本地快照上的运行结果;二者都不等于独立完成论文级复现。
1.2 三层证据不能混为一谈
第一层是机制证据:源码中确实存在相应数据结构、检索公式、候选选择或验证路径。例如 Strategist 的混合检索和 paired\_pick.py 的 2% 规则可直接阅读,evolver.py 的 Gene、Capsule、选择器与 Solidify 也有明确实现。这一层能回答“系统怎样工作”,不能回答“方法一定有效”(Strategist 检索, Strategist 选择, evolver 选择器)。
第二层是运行证据:测试能否通过、接口能否执行、失败时是否按预期进入草稿或回滚路径。本次对 Strategist 公开测试的顺序运行得到 20 项通过、1 项动态导入失败,失败用例隔离复测通过;对 evolver.py 的统计、配对比较与 Gene 生命周期核心测试共 39 项通过。后者有一条因未安装 pytest-asyncio 而产生的配置警告,不影响这 39 项结果。上述只是局部运行观察,不能外推为完整覆盖率或无缺陷证明(Strategist tests, evolver.py tests)。
第三层是效果证据:在明确数据切分、对照、指标和原始结果上,方法是否优于基线。Strategist 在这方面提供了较完整的论文表格与消融,但公开代码快照未包含论文所述 1,865 个蓝图、完整运行日志和结果表;evolver.py 有评估框架与项目方汇总声明,但本次快照未找到对应显著性数字的逐题 JSON/JSONL 结果。后文所有强弱判断都遵循这一证据分层,而不是把“有代码”误写成“已复现”(Strategist 仓库, evolver.py README)。
2\. 本质区别:优化“怎样回答”,还是治理“怎样改代码”
2.1 Strategist 的双层循环
Strategist 的内层是候选推理策略对样本作答,外层是元智能体阅读训练集执行轨迹、验证集汇总分数以及历史测量卡,再提出下一轮程序。主搜索每轮生成 5 个候选,至少覆盖 new、composed、reuse 三类,并覆盖 accuracy、efficiency、balanced 三种目标;主实验运行 10 轮。最终不是所有任务都强行采用新程序:只有候选在 validation 与 hidden 上都按规则击败参考基线,才进入最终排序;若没有合格候选,就保留参考基线(论文第 3 节与附录 A.1/A.4)。
这一设计的关键不是简单的“让 LLM 多试几次”,而是把每次试验转化为后续搜索可读取的资产。新蓝图可以包装旧蓝图,reuse 则只替换任务 Prompt 槽而不污染库中的通用结构。候选是否成功由真实样本上的准确率和成本决定,元模型自己的文字评价不是最终分数。因此它更接近程序空间中的测量驱动搜索,而不是让同一个 Agent 在对话里反思几次(蓝图与 Prompt 槽实现, 论文)。
2.2 evolver.py 的信号—宿主—结算闭环
evolver.py 的公开管线由 Collect、Signals、Hub Sync、Enrich、Autopoiesis、Select、Dispatch 等阶段组成。默认主路径先根据工程信号选择一个 Gene,再组装包含历史 Episode、失败证据、Hub 命中、库快照和约束的 GEP Prompt,交给宿主 Agent 修改工作区。引擎的角色是策略选择、上下文组织、验证与资产管理,不是独自完成所有代码编辑(Select 阶段, Dispatch 阶段)。
修改之后,Solidify 执行约束、测试、适应度与冻结基准门禁,并决定晋级、保留草稿或回滚。普通测试失败、非改进等结果可成为 draft\_preserved,保留工作区修改和 rejected stash,且不让未验证 Gene 进入正向资产库;秘密泄漏、修改内部受保护目录、密封验证集泄漏等硬阻断则走回滚路径。成功结算也明确不自动创建 Git commit,这使人工审查和既有版本流程仍可保留(Solidify, README 安全模型)。
!\Strategist 与 evolver.py 的优化闭环对比
2.3 一张表看清二者不是同类竞品
| 维度 | Strategist | linkerlin/evolver.py | 对比判断 |
|---|---|---|---|
| 优化对象 | 推理策略、模型调用顺序、验证流程、内部档位路由(论文) | 软件工程变更、修复/优化/创新策略及执行经验(README) | 推理时 vs 开发时 |
| 基本单元 | 可执行 Blueprint Python 程序 | Gene 是结构化变异策略,Capsule 是具体执行记录(schemas) | 程序结构 vs 工程经验协议 |
| 候选生成 | 每轮 5 个,强制类型与目标多样性(论文附录 A.4) | 默认信号匹配选一个 Gene;另有多提议扩展(selector) | 默认搜索强度不同 |
| 执行者 | 冻结 Qwen3 执行器;元模型只写策略(论文) | 外部宿主 Agent 使用其原生工具修改代码(README) | 均解耦元策略与执行,但职责不同 |
| 反馈 | 标注任务准确率、加权 token 成本、执行轨迹 | 测试、静态检查、适应度、diff、影响范围、token 与执行轨迹(Capsule) | 标量榜单分数 vs 多维工程验收 |
| 经验库 | 蓝图+测量卡+经验笔记;候选去重后回写(论文) | Gene/Capsule/Episode/Event+正负证据+内容寻址(README) | 都可积累,资产语义不同 |
| 跨任务复用 | 语义检索相关结构与跨域灵感,可通过 import 组合(retrieval) | 信号匹配、适用性硬门槛、历史得分、Hub 同步(Gene) | 结构检索 vs 信号路由 |
| 失败处理 | 失败候选作为经验进入蓝图库;最终可回退 BL(论文) | 草稿保留、负证据记录、硬失败回滚、人工否决(Solidify) | 后者更强调变更安全 |
| 主要公开效果证据 | 30 主基准、10 留出检索、10 跨模型任务与消融(论文) | 工程测试、冻结评估框架及 README 汇总声明(README) | 不可直接换算排名 |
evolver.py 的行动是推动一次工程变更,分数与状态来自测试、diff、影响半径、适应度和治理门禁。只看高层流程图会夸大相似性,继续看数据结构和结算代码才能识别差异。因此,本报告不使用“Strategist 是 evolver.py 的论文版”或“evolver.py 是 Strategist 的工程版”这类表述。更准确的定位是:二者分别把经验积累引入推理策略设计和软件工程变更,具备概念上的互补性。是否能形成同一个统一系统,要看后续是否建立共同资产协议、跨层评价指标和端到端实验,而不是由名称中的“进化”自动推出。
3\. 策略表示与经验积累:Blueprint 和 Gene 并非同义替换
3.1 Blueprint 是“可执行的推理结构”
Blueprint 把推理流程写成自由形式 Python,但用统一接口约束组合方式:单模型场景暴露 async execute(llm, task),跨档位场景使用 async execute(llms, task)。两个基础构件是 chat 与 agent,后续蓝图可以调用更早创建的蓝图,协议禁止前向调用、循环依赖和结构重复。因为控制流就是代码,它可以表达条件路由、并行提取、循环修复、投票、工具调用和多阶段审查,而不必受固定节点类型限制(论文第 2 节及附录 B)。
蓝图库刻意不保存任务特定 Prompt,而保存结构、traits、测量卡与经验笔记。公开实现通过 AST 去除 execute 函数体中的任务字符串后计算结构哈希,所以仅改 Prompt 不应制造一个“新蓝图”;reuse 候选可以通过 Prompt 槽覆盖任务文本,库文件仍保持通用。这一分离是跨任务迁移成立的关键,也比单纯保存“某题最好用哪段提示词”更接近可组合知识(prompt\_slots.py, 对应测试)。
# 概念接口,而非要求所有任务共享同一段 Prompt
async def execute(llms, task):
route = await cheap\_router(llms\["fast"]\["nothink"], task)
if is\_deterministic(route):
return await tool\_agent(llms\["complex"]\["thinking"], task)
return await verification\_flow(llms\["balanced"]\["thinking"], task)
这段示意体现了论文实例中的重要机制:便宜模型负责判断是否值得调用昂贵路径,复杂模型只处理真正需要的分支。 Strategist 的成本优势很多时候来自这种策略内部的条件计算与档位混用;对照 Baseline 虽然也在六种档位/模式组合中逐一评估,却不能在单次策略内部跨档路由,因此二者的搜索空间并不完全相同(论文附录 A.2 与 B.2)。
3.2 Gene 与 Capsule 是“可治理的工程经验”
Gene 的 Pydantic 模型包含 signals\_match、strategy、validation、constraints、preconditions、applicability、dependencies、learning\_history、anti\_patterns、routing\_hint、tool\_policy、mechanism\_family 与 target\_hook 等字段。它描述遇到哪些信号时采取什么变异步骤、如何验证、允许修改多少文件、禁止触碰哪些路径,以及历史成功与反模式。它不是一个完整的自由形式推理程序,更不是 Strategist Blueprint 的另一种文件后缀(gene.py)。
Capsule 则记录一次具体执行的结果:成功或失败、分数、置信度、连续成功次数、环境指纹、影响文件与行数、diff、执行轨迹、推导 token、资产来源和可见性等。Gene 更接近“可复用方法”,Capsule 更接近“某次采用该方法产生了什么证据”;Episode Record 和 EvolutionEvent 再把上下文与历史串起来。这个区分使系统可以同时复用正向经验、保留失败现场,并审计某条策略在何种环境下有效(capsule.py, README 架构)。
这种表示的强项是可约束、可路由、可追责。例如 constraints.max\_files 默认限制修改半径,applicability.signal\_families 可以成为选择前的硬门槛,under\_review 等生命周期状态能阻止有回归风险的资产继续被当作可靠经验。它的局限也同样明确:结构化 Gene 本身不规定宿主最终能写出怎样的新代码,实际探索能力高度依赖宿主模型、工具、上下文质量与验证题包;因此“协议很完整”不等于“每次变异都更有创造性”。
3.3 两种积累机制的复利来源不同
Strategist 的复利来自组合深度:一个蓝图可以成为下一个蓝图的组件,测量卡告诉未来元模型何时有效、何时浪费成本,跨域灵感则防止只在当前任务的局部结构上重复。30 个主搜索最终形成 1,865 个去重蓝图;留出任务实验不是读取完整库的所有候选手工挑选,而是从主搜索最终策略中检索 Top-5,再在开发样本上选择一个(论文第 5 节)。所以其“越用越好”是可以用具体程序复用路径解释的,不只是保存更多聊天历史。
evolver.py 的复利来自治理后的经验复用:被验证的 Gene/Capsule 可进入正向资产库,失败方案形成反模式或 rejected variant,Episode 为下一轮提供上下文,Hub 与内容寻址支持跨环境共享和完整性检查。它试图避免“每次编码会话都从零开始”,也避免“模型说自己改好了就记为成功”。但如果验证任务稀缺、基线缺失或题包不能代表真实工作,系统仍然只能软继续或给出不完整证据;资产数量的增长本身并不保证能力单调增长(Solidify, 评估教程)。
| 经验问题 | Strategist 的回答 | evolver.py 的回答 |
|---|---|---|
| 保存什么 | 通用推理程序结构、测量行为、经验笔记(论文) | 变异策略、执行结果、Episode、事件、环境指纹与 diff(schemas) |
| 如何找到旧经验 | 0.4×TF-IDF+0.6×Embedding,另有跨域灵感查询(retrieval.py) | 信号匹配、适用性门槛、历史反馈、冷却与评审状态(selector.py) |
| 如何产生新经验 | 新建、组合或复用蓝图,在开发样本上实测(论文) | 选择 Gene 后由宿主修改,再运行验证和结算(Dispatch) |
| 失败经验如何处理 | 候选与经验去重回写,最终选择可回退 BL | 普通失败保留草稿和负证据,硬阻断回滚(Solidify) |
| 主要风险 | 搜索过拟合、选择噪声、库膨胀、生成代码安全 | 宿主误改、验证不足、错误资产晋级、秘密或密封数据泄漏 |
4\. 搜索、选择与验证:谁的“进化”更强,取决于你问哪一种强
4.1 Strategist 的候选竞争与混合检索
检索分数在代码中实现为 0.4 × TF-IDF + 0.6 × Embedding。TF-IDF 文本来自名称、简述、适用场景和 traits,Embedding 文本来自测量卡与经验笔记,句子向量模型为 all-MiniLM-L6-v2;每次检索返回相关蓝图和跨域灵感,而不是只按任务名做精确匹配。文档向量按文本哈希缓存,Embedding 不可用时默认警告并退化为 TF-IDF,设置 STRATEGIST\_REQUIRE\_EMBEDDINGS=1 才强制失败。这意味着在最低依赖环境中,实际检索行为可能与论文完整配置不同(retrieval.py, 论文附录 A.4)。
最终选择并非单纯“最高分获胜”。公开实现的 TIE\_PP=0.02、TIE\_COST=0.02、MIN\_N=20 对应 2 个百分点与 2% 成本的容忍带;候选需要在 blind/validation 和 hidden 上都满足胜利规则,再按 hidden 准确率增益排序。准确率获胜要求提升超过 2 个百分点且成本比不超过 1.02,成本获胜要求成本比低于 0.98 且准确率下降不超过 2 个百分点。若没有合格候选,参考基线保留,这对抑制“为了变化而变化”很重要(paired\_pick.py)。
4.2 evolver.py 的信号匹配与验收门禁
evolver.py 的 \_score\_gene 主要按信号匹配、摘要词重叠、硬失败反模式和成功历史计分:信号匹配每项加 1,摘要词重叠加 0.1,硬失败反模式减 0.4,成功历史每项加 0.15;代码还包含 preferred 加权、随机 drift、冷却惩罚与 under\_review 惩罚。默认选择器因此更像带历史反馈和探索扰动的策略路由,而非 Strategist 那种每轮固定生成五个程序并在数百个开发样本上竞赛。仓库存在多提议和组合机制,但不应把可选扩展误写成每次运行的默认路径(selector.py, Select 阶段)。
验证方面,Solidify 使用子进程运行检查并设置 shell=False,对输出做截断,以单调时钟计时,区分软失败与硬阻断。它还考虑冻结基准、适应度是否改进、资产晋级和事件写入。与 Strategist 相比,这里的“胜”不只是某任务准确率高一点,而是代码变更能否通过约束、回归、性能和治理要求。对于真实仓库,这种保守性通常比最大化候选数量更重要;对于开放式推理策略发现,它又不能替代大规模候选竞争(Solidify)。
4.3 两者都考虑数据泄漏,但验收语义不同
Strategist 把开发池分为 training、validation、hidden,并保留独立 test。元模型能看到 training 的逐样本轨迹,只能看到 validation 的汇总分数;hidden 用于跨轮最终选择,不向元模型展示;test 完全不参与搜索。经验笔记只从 training 轨迹生成,从而降低 hidden 信息通过共享库泄漏到后续任务的风险。通常前三个切片各最多 100 条,test 约 200 条,小数据基准按比例缩减,AIME 2024 与 Amazon-Rec 的每个开发切片为 50 条(论文附录 A.3)。
evolver.py 的评估教程强调仓外冻结题包、密封 val、等长 placebo、AB/BA 交错、真实 Episode、固定 commit、结果落盘和每臂 MIN\_N=30。等长安慰剂尤其重要:如果“有历史记录”组多了一段系统上下文,而对照组什么都没有,提升可能只是多了上下文,而不是经验内容有效;等长填充能更接近隔离记录内容本身。AB/BA 则降低缓存、限流和模型服务随时间漂移对固定执行顺序的偏置(评估教程, ablation.py)。
不过,两者的防线不能互相替代。Strategist 的隐藏集仍参与最终候选选择,论文实测隐藏集上的平均优势为 4.3 个百分点,到了测试集只剩 0.7 个百分点,作者明确把 test 称为唯一无偏估计;这正说明“从未展示给元模型”不等于“从未参与任何选择”。evolver.py 的机器检查也只有在真实运行提供 Episode、placebo、唯一任务、任务摘要、commit 和结果路径时才会给出合格结论,框架存在不代表每次实验都满足前提(论文第 6 节, stage-exit 检查)。
| 验证设计 | Strategist | evolver.py | 仍需注意 |
|---|---|---|---|
| 搜索/开发数据 | train、validation、hidden 分工(论文) | 冻结任务、密封 val、真实 Episode(教程) | 样本代表性与题包质量 |
| 最终独立确认 | test 不参与搜索与选择 | 配对冻结比较、固定 commit、结果落盘 | 是否公开全部逐题原始记录 |
| 选择偏置控制 | validation+hidden 双重门禁,无合格候选回退 BL | 适应度非改进不晋级,正负证据分轨 | 多次搜索仍可能产生赢家诅咒 |
| 对照执行 | 同一执行器、提取器与测试集 | 等长 placebo、AB/BA 交错、配对精确检验(compare.py) | 字符等长不必然 token 等长,代码另记录 token 平衡 |
| 工程安全 | 论文实验使用受限工具沙箱,无互联网 | 凭证脱敏、影响半径、外锁、HITL/HOTL、回滚(README) | 自动生成代码仍需隔离与人工审查 |
5\. Strategist 论文数据复核:哪些数字成立,哪些必须加脚注
5.1 30 个主基准:74.7%、74.0% 与 0.61×均能复算
论文的主成本不是实际美元,而是按参数比例加权的输入与输出 token。三档权重为 fast=1、balanced=2.83、complex=6.67,对应 0.6B、1.7B、4B 的参数比;可写为 C = T\_fast + 2.83 T\_balanced + 6.67 T\_complex。39% 来自先对每个基准计算 Ours cost / BL cost,再对 30 个比值取算术平均,而不是把所有基准的 token 汇总后求一次比值(论文第 4 节与附录 A.6)。
本报告从附录 Table 10 逐项复算,得到 Ours 平均准确率 74.7267%、BL 73.9933%,平均差 +0.7333 个百分点;平均每基准成本比 0.607589。四舍五入后即论文的 74.7%、74.0%、+0.7 个百分点和 0.61×。胜负计数也复算为 24 Win、2 Tie、2 Mixed、2 Lose;26/30 的成本下降超过 2%,28/30 的准确率下降不超过 2 个百分点(附录 Table 10)。
!\Strategist 30 个主基准的准确率变化与成本比
“24 项击败最强 Baseline”需要完整解释:准确率提高超过 2 个百分点,或成本下降超过 2%,同时另一项不明显恶化,就记为 Win。于是 GSM8K 的准确率从 94.0% 降至 92.0%,但成本比约 0.132,仍按规则属于 Win;MedQA 与 AIME 2024 虽然便宜很多,准确率分别下降 4.0 和 5.0 个百分点,被记为 Mixed;HotpotQA 与 COPA 的成本比约 1.088 和 1.043,被记为 Lose(附录 Table 10)。因此,宣传文案若让读者理解为“24 项准确率都更高”,就是误导;若理解为“24 项在准确率—成本联合规则下占优”,则与原文一致。
| 代表任务 | Ours/BL 准确率 | 准确率差 | 成本比 Ours/BL | 论文判定 | 应怎样解读 |
|---|---|---|---|---|---|
| SQuAD v2 | 79.1/73.2 | +5.9 pp | 0.224× | Win | 准确率与成本同时明显改善。 |
| 2WikiMQA | 76.5/72.5 | +4.0 pp | 0.343× | Win | 多跳任务上同时改善。 |
| MMLU | 79.5/78.5 | +1.0 pp | 0.106× | Win | 主要价值是大幅降本。 |
| GSM8K | 92.0/94.0 | −2.0 pp | 0.132× | Win | 以约 2 个点准确率容忍带换取大降本。 |
| MBPP+ | 80.5/79.0 | +1.5 pp | 0.995× | Tie | 两项改善都未越过显著阈值。 |
| MedQA | 68.5/72.5 | −4.0 pp | 0.442× | Mixed | 更便宜,但不能称整体更好。 |
| AIME 2024 | 60.0/65.0 | −5.0 pp | 0.772× | Mixed | 成本改善伴随明显准确率损失。 |
| HotpotQA | 64.5/64.0 | +0.5 pp | 1.088× | Lose | 准确率近乎持平,成本更高。 |
| COPA | 100.0/100.0 | 0.0 pp | 1.043× | Lose | 准确率相同,成本更高。 |
5.2 一次性检索:准确率迁移较好,23% 降本不是全 10 项平均
30 个主搜索形成 1,865 个去重蓝图后,论文在另外 10 个留出基准上做一次性检索:从主搜索最终策略中取 Top-5,在最多 300 个开发问题上测量并选择一个,不再运行完整十轮搜索。测试准确率平均从 77.8% 提升到 81.4%,10 项中 8 项准确率更高,按论文复合规则为 6 个 Win。这是支持“库可跨任务复用”的直接证据,比只展示同一任务多轮提升更重要(论文第 5 节与附录 C.2)。
成本口径则必须特别谨慎。论文图 1 展示的 0.77× 是排除 BoolQ 和 SIQA 后的每基准平均成本比;这两项由于极便宜的单次调用 BL,成本比约为 32× 和 4.5×。此外 DROP 与 QUALITY 也更贵。也就是说,把“一次性检索平均成本降低 23%”直接套到全部 10 个任务是不准确的;它只对应论文明确排除两个极端比值后的汇总口径(论文第 5 节)。
| 留出任务 | Ours/BL 准确率 | 成本比 Ours/BL | 观察 |
|---|---|---|---|
| ReCLor | 83.5/85.0 | 0.658× | 准确率略低,成本更低。 |
| SAT-EN | 86.5/86.5 | 0.444× | 同准确率,明显降本。 |
| TriviaQA | 50.5/46.0 | 0.400× | 准确率与成本同时改善。 |
| MATH500 | 94.5/92.5 | 0.774× | 准确率与成本同时改善。 |
| BoolQ | 85.5/73.5 | 约 32.7× | 更准,但对极便宜 BL 大幅增本。 |
| SIQA | 77.5/73.5 | 约 4.47× | 更准,但显著增本。 |
| OpenBookQA | 94.5/93.0 | 0.507× | 准确率略升,成本下降。 |
| PIQA | 89.0/87.5 | 0.356× | 准确率略升,成本下降。 |
| QUALITY | 79.5/78.5 | 1.074× | 准确率略升,成本上升。 |
| DROP | 72.5/61.5 | 1.939× | 准确率明显提升,成本接近翻倍。 |
5.3 跨模型迁移:不改蓝图属实,巨大增幅需拆分原因
论文把 Qwen3 上发现的策略直接放到 GPT-5 的 nano、mini、full 与 Gemini-2.5 的 flash-lite、flash 上,蓝图代码和 Prompt 均不修改,并在同一批 10 个任务上重新执行最强 Baseline。GPT-5 为 7 胜 3 负,论文汇总总成本 53.86→35.02 美元,下降 35.0%;Gemini-2.5 为 8 胜、2 个 Mixed,总成本 18.50→11.07 美元,下降 40.1%(论文第 5 节及附录 C.3)。
本报告按 Table 12 的展示值逐项复算,平均准确率差为 GPT-5 +20.55 个百分点、Gemini-2.5 +14.75 个百分点;论文图 1 写为 +20.5 和 +14.7,两者各有 0.05 个百分点的展示差异,可能来自表格自身的舍入或底层精度。不过,论文明确承认 GPT-5 的部分优势来自 self\_refine 与 multi\_agent\_debate 在新后端返回格式错误,而发现的策略能继续运行。这仍然证明蓝图具备一定后端鲁棒性,却不能把全部 +20.5 个百分点都解释为“推理结构本身比对方聪明”(论文第 5 节)。
| 后端 | 胜负构成 | 平均准确率差 | 论文汇总成本 | 必要限定 |
|---|---|---|---|---|
| GPT-5 | 7 胜 3 负 | +20.5 pp | 53.86→35.02 美元,−35.0% | 部分 Baseline 格式崩溃,放大准确率差。 |
| Gemini-2.5 | 8 胜、2 Mixed | +14.7 pp | 18.50→11.07 美元,−40.1% | SQuAD2、MinervaM 更便宜但准确率下降。 |
5.4 消融支持蓝图库价值,但搜索成本不可忽略
在固定的 10 个任务消融集上,完整 Strategist 平均测试准确率为 78.7%;保留十轮迭代但禁用蓝图库为 65.4%,两者相差 13.3 个百分点。zero-shot 仅一轮且禁用库时为 39.4%,其中 3 个运行崩溃并按 0 分计入;若只看其余 7 个成功运行则为 56.2%。因此,78.7 对 39.4 不能全部解释为“蓝图库的独立贡献”,十轮迭代与崩溃处理也占了很大部分;78.7 对 65.4 才是更直接的库消融对照(论文第 7 节 Table 5)。
同一组任务上,论文还报告与 AFlow、ADAS、EvoFlow、StrategyLLM、AgentSquare 的比较,Strategist 以 78.7% 平均准确率取得 8/10 胜利。这个结果支持其在所选设置中的相对优势,但仍不是对 evolver.py 的比较:后者没有参与这组实验,优化对象也不同。把这张表拿来证明 Strategist“强于 evolver.py”会超出实验实际覆盖范围(论文第 7 节)。
一次完整搜索约评估 60 个候选,在每基准三个开发切片各 100 条时,约产生 20,000 次候选—样本执行;元模型自身约消耗 135k Prompt token 与 45k 响应 token。论文说明搜索主导单任务成本,并通过后续任务复用摊销,实验基础设施为 8×NVIDIA H200。39%只衡量找到策略后的部署推理成本,不包含这些发现成本(论文附录 A.4)。
因此,对低调用量、一次性任务,完整搜索很可能不经济;对高调用量、长期重复任务,或能直接利用已有蓝图库的任务,摊销逻辑才更有吸引力。实际采用时应计算 总拥有成本 = 元搜索成本 + 开发集执行成本 + 部署推理成本 + 失败与维护成本,而不是只比较最终每题 token。这个计算是部署建议,不是论文已给出的跨场景财务结论。
6\. evolver.py 的证据强度:工程闭环扎实,效果结论仍需原始记录
6.1 工程能力是它最可信的价值主张
从源码可直接确认,evolver.py 不只是生成一段“请改进自己”的提示词。Gene 有生命周期和适用性约束,Capsule 保存结果与 diff,Dispatch 组织历史与约束,Solidify 负责测试、适应度、草稿和回滚,统计模块实现配对精确二项检验,消融模块实现 placebo、AB/BA 和阶段退出条件。对希望长期运行编码 Agent 的团队,这些机制直接对应真实痛点:变更是否越界、测试是否通过、上次失败是否重复、经验能否审计、秘密是否进入日志(GEP 模块, bench compare, ablation)。
它还明确采用双轨结算。验证通过且适应度改善的结果可以晋级;普通验证失败或非改进以 ok=false、draft\_preserved 结算,工作区补丁保留并备份,未验证 Gene 不进入正向 vault;缺少 baseline、pack 或测量时软继续并给出警告,不伪造 Parent baseline,也不打开密封 val。与“失败后全部回滚、所有记录都当成正面经验”的简单系统相比,这种设计更利于调试与诚实记录(README 双轨结算, Solidify)。
本次快照中,src/evolver/ 约 388 个文件、约 8.86 万行 Python,tests/ 有 359 个 test\_\*.py 文件;Strategist 的 strategist/ 约 43 个文件、约 0.79 万行 Python,公开测试集中于 Prompt 槽与评分等少量模块。这个差距与二者定位一致:前者是持续运行的工程系统,后者是论文研究代码。文件数和测试文件数只能说明工程范围,不能证明进化算法、最终准确率或成本效率更高,也不代表每一行都经过同等强度审查(Strategist 仓库, evolver.py 仓库)。
6.2 README 的 p 值不能替代公开实验材料
README 声称相关阶段退出验证覆盖“30 real MCP settlements”和“32 frozen paired tasks”,给出 p=1.86e-09 与 p=2.98e-08。这些数字至少说明项目试图用真实结算和冻结配对任务约束自我声明,而不是只依赖 LLM 自评分;配对比较代码也要求任务集合一致,只在不一致配对上做精确检验,并要求方向与 p≤0.05 同时满足才判优(README, compare.py)。
但在本次下载的公开快照中,未找到能把这两个 p 值逐项还原的原始 JSON/JSONL、任务结果表或完整实验报告。因而本报告只能确认“README 作了这一声明,统计与门禁代码存在”,不能确认样本如何形成、是否独立、效应量多大、是否有多次尝试或选择报告。显著性也不等于实际收益幅度:即使 p 值很小,也仍需查看成功率差、token 差、任务难度、失败类别和外部可复现性(evolver.py bench, experiment)。
更合理的表述是:evolver.py 提供了一套比通常编码 Agent 更严格的自证框架,但公开证据包尚未达到论文表格级的可独立复核程度。 这不证明其声明为假,只意味着外部读者不应把声明当作已经由第三方复现的事实。如果项目补充逐题输入摘要、每臂结果、执行顺序、commit、模型版本、失败记录和统计脚本输出,其证据强度会明显提高。
6.3 两个项目的公开复现完整性各有短板
Strategist 的优势是论文公开了主结果、留出检索、迁移与消融的较完整表格,读者可以复算均值、胜负构成和成本比;不足是官方代码快照的 workflows/ 基本只有共享辅助,未包含论文搜索形成的 1,865 个蓝图,也未包含全部数据、运行日志和结果表。公开测试只有少量文件,且本次全套顺序运行曾出现一次动态导入失败,虽然隔离复测通过,仍提示完整搜索环境的可复现性需要更多发布材料(官方仓库, tests)。
此外,本次检查的 Strategist 仓库根目录未发现 LICENSE,GitHub 元数据也未声明许可证;这不影响阅读研究,但企业在复制、修改或再分发代码前需要主动确认授权。evolver.py 则在 pyproject.toml 明确 Apache-2.0,工程依赖、安装与文档更完整;它的短板主要是效果原始数据,而不是许可不明(Strategist 仓库, evolver.py pyproject)。
| 复现问题 | Strategist | evolver.py |
|---|---|---|
| 方法细节 | 论文与伪代码较完整(论文) | README、教程与源码较完整(README) |
| 核心机制源码 | 检索、选择、Prompt 槽等可检查 | Gene、Capsule、Dispatch、Solidify、统计等可检查 |
| 公开结果表 | 主实验、留出、迁移、消融均有附录表 | 本次快照未找到 README p 值对应的完整逐题结果 |
| 公开蓝图/经验产物 | 未发布论文所述完整 1,865 蓝图库 | 有资产协议与框架,但公开效果资产不足以复核汇总声明 |
| 本地局部测试 | 21 项公开测试;首次 20 过 1 败,失败项隔离复测通过 | 抽查核心统计、配对和生命周期测试 39 项通过 |
| 许可证 | 快照未声明 | Apache-2.0(pyproject) |
7\. 原始宣传文案逐项核查
7.1 “大模型只完成一半”是有启发性的框架,不是可测量定律
这句话准确传达了论文的问题意识:模型参数之外,Prompt、调用顺序、工具、验证和多模型路由也会显著影响系统表现。 Strategist 的贡献正是把这部分从手工工程变成可搜索、可积累的程序层。作为研究框架,它有解释力;作为字面命题,“一半”没有严格度量定义,不能理解为性能、价值或成本永远恰好各占 50%(论文摘要与第 1 节)。
“元智能体不直接解题,而是设计推理策略”则基本准确。论文中的 strategist 写候选、读反馈、维护蓝图库,Qwen3 等执行模型负责答案;搜索过程中执行模型权重保持冻结。不过最终系统仍由执行模型回答问题,元模型并非不需要任何任务信息,它需要任务描述、开发样本反馈与轨迹来设计策略(论文第 2—3 节)。
7.2 核心数字与迁移说法的判定表
| 宣传说法 | 判定 | 核查结果与必要限定 |
|---|---|---|
| “普林斯顿大学与 Meta 提出 Strategist” | 准确 | 论文作者署名确为 Princeton University 与 Meta,arXiv v1 日期为 2026-11-02(论文)。 |
| “不直接解题,而是设计推理策略” | 准确 | 元模型生成、评估、修改蓝图;执行模型回答任务,且不微调权重(论文)。 |
| “通过检索—提议—评估—沉淀形成策略蓝图库” | 准确 | 四阶段与原文一致;每轮 5 候选,主实验 10 轮,蓝图去 Prompt、测量卡和经验回写(论文第 3 节)。 |
| “30 个基准中 24 项击败最强 Baseline” | 需限定 | 数字正确,但 Win 是准确率或成本复合判据;另有 2 Tie、2 Mixed、2 Lose,不是 24 项都同时更准更便宜(论文第 5 节)。 |
| “平均准确率基本持平” | 准确但幅度很小 | 74.7% 对 74.0%,平均只高 0.7 个百分点;隐藏集 4.3 个点的选择优势到测试集明显收缩(论文第 5—6 节)。 |
| “推理成本降低 39%” | 需限定 | 是 Qwen3 参数比例加权 token 的每基准平均成本比 0.61×;不含元搜索成本,不等于真实账单普遍下降 39%(论文附录 A.4/A.6)。 |
| “一次性检索还能再降 23% 成本” | 容易误导 | 0.77×排除了 BoolQ 和 SIQA;10 项中 BoolQ、SIQA、QUALITY、DROP 成本均上升(论文附录 C.2)。 |
| “小模型进化的蓝图不改代码迁移到 GPT-5、Gemini-2.5” | 准确但范围有限 | 只在 10 个任务上测试;成本降 35.0%/40.1%,GPT-5 的部分优势来自 Baseline 格式错误(论文第 5 节)。 |
| “ Strategist 证明 evolver.py 也能降本 39%” | 不成立 | evolver.py 未参与论文实验,且优化对象不同;不能跨项目转移数值结论。 |
| “evolver.py 已实现或复现 Strategist” | 不成立 | 公开代码没有 Strategist 的四阶段五候选 Blueprint 搜索作为同一实现;二者资产模型和主循环不同(Strategist, evolver.py)。 |
这段改写仍然突出结果,但保留了决定其含义的边界。尤其不应把“准确率基本持平”改写成“准确率全面大幅提升”,也不应把“部署推理成本”缩短为“研发与使用总成本”。如果用于技术选型,还必须附上 MedQA、AIME、HotpotQA、COPA 等反例,让读者知道它并非所有任务上的 Pareto 改善。
8\. 应用价值、组合架构与落地建议
8.1 何时选择哪一个
如果目标是让一个已有问答、数学、代码或推荐系统在不训练模型的情况下找到更好的调用流程,Strategist 更直接。它特别适合调用量较大、任务重复、拥有可靠开发集和自动评分器、且不同步骤确实需要不同模型能力的场景。条件路由、验证与组合蓝图可以把昂贵调用集中到困难输入上;若任务本身极便宜、调用量很低或没有可靠评分,完整搜索的成本与过拟合风险可能超过收益(论文)。
如果目标是让编码 Agent 在长期维护中少重复犯错、可审计地修改仓库、失败可恢复、经验可共享,evolver.py 更贴近需求。它适合有测试套件、明确修改边界、希望接入现有 Cursor/Claude Code/Codex 工作流的团队。若仓库缺乏测试、没有可信 baseline、任务验收完全依赖主观感觉,则再完整的 Gene 协议也无法凭空产生可靠证据;此时应先建设验证与基准,而不是先追求自动进化(README, 评估教程)。
| 场景 | 建议 | 不宜怎样使用 |
|---|---|---|
| 高频、可自动评分的推理 API | 用 Strategist 搜索并做独立测试集复核 | 不用开发集最高分直接上线 |
| 一次性、低调用量任务 | 优先简单基线或已有蓝图一次性检索 | 不默认支付完整十轮搜索 |
| 长期代码仓库维护 | 用 evolver.py 管理信号、变异、验证和审计 | 不在无测试、无回滚环境全自动运行 |
| 高风险生产仓库 | 保留 HITL/HOTL、冻结基准和人工发布 | 不把“测试通过”当作自动上线许可 |
| 跨模型部署 | 在每个新后端重新跑对照与格式鲁棒性检查 | 不把 Qwen3 结果直接当作 GPT/Gemini 保证 |
| 经验库共享 | 做内容审查、环境指纹和版本绑定 | 不共享含秘密、任务答案或密封数据的资产 |
8.2 最有价值的组合:Strategist 做探索,evolver.py 做治理
一种自然的组合是让 Strategist 成为候选生成与测量层:它检索蓝图、生成多个推理程序、在开发样本上测量准确率和成本,并输出结构、测量卡与经验笔记。随后不直接把这些生成代码投入长期运行,而是交给 evolver.py 风格的治理层做约束检查、依赖审查、测试、冻结任务比较、版本固定和资产晋级。这样可以把前者的开放程序探索与后者的安全结算结合起来;这是一套建议架构,不是两个仓库当前已经内置的互操作接口。
映射上,Blueprint 可以对应一种可执行 Gene 的载荷或独立资产,测量卡与执行记录可以进入 Capsule/Episode,最终 hidden/test 结果可成为适应度证据的一部分。与此同时,evolver.py 的信号路由可以帮助 Strategist 决定何时检索哪些历史经验,Strategist 的多候选竞争则可补足默认单 Gene 派发在开放探索上的不足。真正需要新增的是统一资产 schema、代码沙箱、任务数据权限、成本账本和版本依赖,而不是简单把两个 Prompt 拼在一起(Strategist 蓝图协议, evolver.py 资产模型)。
推荐流程为:先由 Strategist 在隔离开发环境产生候选;再由治理层检查密钥、路径、依赖和修改半径;随后在冻结任务上做配对比较并记录全部失败;只有通过独立 test、成本预算和人工门禁的候选才晋级;上线后持续记录模型版本、价格、延迟、准确率与漂移;当后端变化时重新验证,而不是假设蓝图永久可迁移。该流程将“能发现”与“敢运行”分成两个可审计环节。
8.3 最小可行试点与评估清单
对 Strategist,建议先选 2—3 个高频且评分可靠的任务,保留现有最强工作流作为 BL,记录开发、隐藏和测试切分,并把元搜索 token、开发执行、部署 token、延迟与人工维护全部入账。试点应同时包含一次性检索与完整搜索,以判断已有库是否已经足够;还应预先定义允许牺牲多少准确率换取多少成本,避免事后根据结果改变胜负规则。跨模型迁移必须在每个后端重新跑同一对照,特别检查输出格式和工具兼容性。
对 evolver.py,建议先以人工审批模式接入一个测试完善的非关键仓库,验证信号是否准确、Gene 是否匹配、草稿与回滚是否符合预期。冻结题包应仓外保存,val 保持密封,对照采用等长 placebo 和交错顺序,公开或内部归档逐题结果。样本量达到门槛前只把结果视为指示性信号,达到后也要同时看效应量和失败类型;不要因为 p 值显著就忽略修改成本与实际收益(评估教程, ablation.py)。
两个试点都应预先写出停止条件:搜索预算上限、允许回归幅度、连续无改进轮数、秘密或密封数据事件的立即中止、资产回滚方式,以及谁拥有最终发布权。真正的“自进化”不是取消这些约束,而是让系统在约束内积累可复核经验;没有停止条件的持续优化,很可能只是把过拟合、成本和安全风险自动化。
9\. 结论
Strategist 的研究创新可以概括为:把推理策略从一次性手工 Prompt,提升为可执行、可组合、可测量、可跨任务积累的程序资产。 论文的主结果与消融支持这一方向,尤其是 26/30 的显著成本下降、留出任务的一次性检索提升和无库消融差距。但它不是无条件双赢:主实验平均准确率仅高 0.7 个百分点,24/30 是复合胜利,39%不含搜索成本,跨模型大幅增益还受到 Baseline 格式故障影响(论文)。
evolver.py 的工程创新可以概括为:把编码 Agent 的变更过程变成有信号、有策略、有验证、有证据、有回滚的持续治理循环。 它的 Gene/Capsule/Episode 体系和 Solidify 门禁对长期工程运行有直接价值,但当前公开材料不足以把 README 的显著性声明转化为独立核验的性能结论,也不存在证据支持把 Strategist 的 39%移植到它身上(evolver.py)。
因此,最准确的对比不是“谁更会进化”,而是:Strategist 更强于开放式推理策略发现,evolver.py 更强于工程变更治理;前者提供论文级效果证据,后者提供更完整的运行与安全闭环。 对实际系统,二者组合比互相替代更有前景,但组合后的效果、成本和安全性仍需在新的统一实验上重新证明。