武馆不藏私，拳谱会自己长

算力的三笔账 · 第三笔：套路账
论文：Strategist: Evolving Reasoning with Agents
arXiv: 2611.03618 | 2026-11-02 | Princeton University + Meta

🏛️ 半座房子的难题

一个 AI 系统由两半组成， halves 都很重要，但待遇天差地别。

一半是模型——那堆被训练出来的参数，经过万亿 token 的打磨，决定这个系统的"智商"上限。这一半是全行业宠爱的焦点：scaling law 推它、蒸馏技术炼它、RLHF 调它、MoE 扩它、万亿参数堆它。每一代新模型发布都是科技头条。

另一半是推理策略——怎么调用这个模型、按什么顺序、用什么方法、走几步、验几次、什么时候用快模型、什么时候上重炮。如果模型是发动机，推理策略就是变速箱、悬挂、转向和导航系统的总成。发动机再好，挂错挡也跑不快。

但这一半的待遇是：老师傅手搓。 今天全世界的 AI 工程师都在干同一件事：写 prompt、调 workflow、编排 agent、设计多步推理流程——为每个具体任务，从头手搓一套策略。A 项目花了三周调好的代码审查流程，B 项目从零开始再来一遍。翻译任务上设计的 Chain-of-Thought 模板，到了数学题上不好用了——不是 CoT 不好，是这个任务上的推理结构跟翻译不一样。客服对话设计的工具调用链，搬到数据分析上就卡壳了。

更荒唐的是：经验不积累。 你在 A 项目里发现"先让模型自我验证再投票"效果好，这个经验没有被写进任何一本可以传给 B 项目的教科书。它活在你的脑子里、你的 Notion 笔记里、你的代码注释里。你离职了，它就死了。下一个接手的工程师从零开始，犯你犯过的错，走你走过的弯路，最后可能殊途同归地发现同样的结论——如果运气好的话。

整个行业的策略设计是重复发明轮子——不是比喻，是字面意义上的：每个团队都在为同样的任务类型重新发明同样的推理套路。一个人发明了"先分解再逐步求解"，写了博客；另一个人独立发明了"least-to-most prompting"，发了论文；第三个人在内部 Wiki 里记下了"分步骤效果好"。他们是同一个轮子的三次发明。

Strategist 问了一个看起来理所当然却从没人认真回答的问题：为什么推理策略不能自己进化？为什么每一次部署都要从零开始？为什么一个任务的经验不能自动传给下一个任务？

📜 拳谱：让策略变成可以传抄的东西

Strategist 的第一个发明，也是地基性的发明，是策略蓝图（Strategy Blueprint）。

想象一个武林。各门各派的武功都是口耳相传的——没有拳谱，徒弟只能看师傅打，看完自己悟。有的门派开始记笔记了，但每个人的笔记格式不一样：有的画流程图，有的写大白话，有的干脆录视频。你的笔记别人看不懂，别人的经验你也抄不走。偶尔有聪明人试图整理武林秘籍，发现根本没法整理——格式不统一，概念不通用，连"一拳"的定义都不同。

策略蓝图就是给这个武林统一拳谱的格式。它是一个 Python 程序，捕获一个推理策略的结构——调用哪个模型、按什么顺序、用什么验证方式、在什么条件下分支——但不含特定任务的 prompt。统一接口只有一行签名：execute(llm, task) -> str，输入一个语言模型实例和一个任务，输出一个字符串答案。

这个接口设计看似简单，实则精妙。它意味着任何蓝图都可以调用任何其他蓝图作为子程序——只要接口匹配。一个"先分解再逐步求解"的蓝图可以调用一个"自我验证"的蓝图来检查每一步；一个"多智能体辩论"的蓝图可以调用三个"单轮问答"蓝图作为辩手。蓝图之间可以像乐高积木一样自由组合。

基础构件只有两种：chat（单轮或多轮对话，模型直接回答）和 agent（带工具和环境交互，模型可以执行代码、查询数据库、浏览网页）。所有其他蓝图都从这两个基础构件或已有蓝图组合而来。蓝图库因此形成一个有向图：顶部是两个基础节点，越往下组合层次越深，结构越复杂。

四条协议约束这张图的生长：统一接口（所有节点都能被调用）、禁止前向引用（一个蓝图只能调用比它早创建的，确保无循环依赖）、禁止循环（A 不能间接调用自己）、禁止重复（功能等价的蓝图只保留一个）。这四条协议保证蓝图库是一个干净的、无环的、无冗余的层次结构。

这个设计的深远意义在于：策略从此可以复用和组合。 第 100 个任务不需要从零设计策略——它可以从库中检索已有的蓝图，直接调用、包裹、扩展。经验不再是活人口中的轶事，而是数据库里的代码。拳谱从师傅的脑子里搬到了图书馆的书架上，谁都可以查阅、借阅、续写。

🔄 元智能体：不写答案的设计师

有了拳谱格式，还需要一个能编拳谱的人。这就是 Strategist——一个元智能体（meta-agent）。它的工作不是回答问题，而是设计那些回答问题的方法。就像建筑设计师不搬砖，但决定楼怎么盖。

Strategist 本身由 GPT-6 驱动（对，设计师本身是另一个大模型），通过 Codex CLI 访问。它写策略、运行策略、分析结果、改进策略——但从来不直接回答任何 benchmark 里的问题。任务模型是三个量级的 Qwen3：0.6B（快）、1.7B（均衡）、4B（复杂），各开/关思考模式，共六种配置。这些模型是"运动员"，Strategist 是"教练"。

工作流程是一个四步循环，每轮迭代跑一遍：

第一步：检索（Retrieve）。 给一个新任务，Strategist 首先在蓝图库中搜索相关蓝图。搜索是混合式的——TF-IDF 加 embedding 相似度，兼顾精确匹配和语义理解。但搜索的不只是蓝图的代码——每个蓝图都携带着特征标签（结构描述）、测量卡（准确率、成本的实测记录）和经验笔记（前人在什么情况下用它效果好、什么情况下翻车、为什么）。搜索索引覆盖所有这些信息，所以 Strategist 能找到"行为上相似"的蓝图，不只是"结构上相似"的。

除了相关结果，库还返回相邻灵感——来自其他领域的、推理模式不同但可能恰好有启发的蓝图。比如一个为数学题设计的"先猜答案再验证"的结构，可能激发为代码任务设计的"先生成测试再写实现"的策略。跨领域的结构迁移是创新的重要来源。

第二步：提案（Propose）。 基于检索结果和灵感，Strategist 设计 K=5 个候选策略。每个候选是三种类型之一：全新（不依赖库中的蓝图，从头设计一个）、组合（包裹或扩展库中已有蓝图，加一层新的控制逻辑）、复用（直接拿库中一个蓝图，配上当前任务特定的 prompt）。每轮迭代至少各提一个，保证探索（新结构）和利用（已有经验）的平衡——全提新的可能错过已有好方案，全提复用可能困在局部最优。

第三步：评估（Evaluate）。 每个候选策略在真实样本上运行。这里的数据分片设计很讲究：训练集（策略在这些样本上运行，Strategist 看完整的 agent trace 和分数——能看到每一步的推理过程，诊断哪里对了哪里错了）、验证集（策略也跑，但 Strategist 只看聚合分数，不看具体 trace——这防止它过拟合训练信号里的噪声）、隐藏集（用来在各轮迭代之间选最终获胜者）、测试集（完全不看，只做最终确认）。四层分离是标准 ML 训练的实践，被巧妙地从模型训练移植到了策略设计。

第四步：积累（Accumulate）。 每轮结束后，Strategist 把每个候选的底层蓝图写回蓝图库——注意是蓝图，不是策略。策略包含任务特定的 prompt，迁移到下一个任务就没用了；蓝图是可复用的结构，换了任务换套 prompt 还能用。写回时附带测量卡和经验笔记，以及去重检查——如果库中已有功能等价的蓝图，就不重复添加。

模型全程冻结。没有训练，没有梯度，没有参数更新。进化的只是策略——那个"怎么使用模型"的半座房子。

🏆 三十场比武，二十四场胜利

实验的规模令人印象深刻。40 个 benchmark，覆盖数学（AQuA-RAT、GSM8K、MATH500、AIME 2024 等 8 个）、常识（StrategyQA、HellaSwag、WinoGrande 等 11 个）、知识（MMLU、TriviaQA、TruthfulQA 等 6 个）、多跳问答（HotpotQA、MuSiQue、DROP 等 5 个）、逻辑（LSAT 系列、BBH 等 8 个）、代码（MBPP+）、推荐（Amazon-Rec），共七大类。30 个随机选做主实验，10 个留出来测"一次检索"能力。每个 benchmark 最多 100 个训练样本、100 个验证样本、100 个隐藏样本、200 个测试样本。

对手是 18 个 baseline——从最简单的直接 prompting 到 Self-Consistency、Tree of Thoughts、Reflexion、Chain-of-Verification、多智能体辩论、MetaGPT、AutoGen、Chain-of-Agents，覆盖 prompting、agentic、meta-learning 三大范式。每个 baseline 在 6 种模型配置上运行，共 108 个格子 per benchmark。BL（最强 baseline）是每个 benchmark 训练集上表现最好的那一格——这个选择方式模拟实际部署：你在小样本上调好配置，然后放到更大规模的未知数据上。

公平性还体现在成本计算上。成本不是简单的 token 数，而是按模型层级加权的：快模型（0.6B）权重 1×，均衡模型（1.7B）权重 2.83×，复杂模型（4B）权重 6.67×——权重正比于参数量，反映真实的 FLOPs 比例。一个用 10 次快模型的策略，成本低于一个用 2 次复杂模型的策略——尽管 token 数可能更多。

结果：30 个 benchmark，Strategist 赢了 24 个，平 2 个，2 个以精度换成本，2 个在等精度下略贵。 平均精度 74.7% vs BL 的 74.0%——基本持平略好——但加权推理成本低了 39%。

24 场胜利的含义值得展开。不是 Strategist 更聪明——它用的底层模型跟 baseline 完全一样，0.6B 还是 0.6B，4B 还是 4B。是它会排兵布阵：哪些步骤用快模型跑量、哪些步骤用复杂模型攻坚、什么时候该自我验证、什么时候该多步分解、什么时候简单的单轮问答就够了。这种结构性优势在单次调用看不出来的，只有跨步骤的编排才能体现。

一些亮点战绩：SQuAD v2 精度从 73.2% 提到 79.1%，成本只有原来的 23%——精度涨了近 6 个点，成本砍了 77%。TriviaQA 精度提 9.8%，成本降 60%。MATH500 精度提 2.2%，成本降 22.6%。BoolQ 精度暴升 16.3%（73.5% → 85.5%），但成本涨了很多——Strategist 判断这个 trade-off 值得。在模型已经快到天花板的 benchmark 上（MMLU、GSM8K、ASDiv、SciQ），Strategist 保持精度不跌，同时砍掉 66–89% 的成本——它学会了"这个任务不需要复杂策略，简单直接的就好"。

也有诚实的一面：在 MedQA 和 AIME 2024 上，Strategist 更便宜（0.44× 和 0.77× 的成本）但精度低了 4-5 个点——它愿意用一点精度换大量成本，这个 trade-off 在某些场景下可能不划算。在 HotpotQA 和 COPA 上，精度持平但成本略高——9% 和 6%，在噪声范围内。Strategist 不是 Pareto 改进的，它在两个维度上做权衡，有时候权衡错了。

🚀 不传之秘可以传：一次检索与跨模型迁移

如果 Strategist 只赢了 24 个 benchmark，它是一个不错的自动化策略设计系统。但让它升维的是下面两个超出预期的能力。

第一个：一次检索（One-Shot Retrieval）。 30 个 benchmark 的搜索过程让蓝图库膨胀到了 1,865 个蓝图。现在拿一个完全没参与搜索的新任务来——不做任何迭代搜索，不让 GPT-6 设计师写一行新代码——只从最终的策略集中检索 top-5 蓝图，每个在开发题上测一下，选最好的跑测试集。

结果：10 个 held-out benchmark，平均精度从 BL 的 77.8% 提到 81.4%，8 个超过 BL，全部 10 个都在 2 个点以内。有 6 个 outright 获胜。

换句话说：经验可以直接搬运。 你在 30 个任务上学到的推理结构，对新任务几乎开箱即用。不需要重跑搜索循环，不需要 GPT-6，不需要任何迭代——只需要检索和一次评估。蓝图库本身就是一份可复用的策略资产。

当然，也有 caveat：在 BoolQ 和 SIQA 上，一次检索的策略比它们的极便宜 BL（单调用、1.0-4.9k 成本）更贵——因为它们的 BL 太便宜了，几乎任何多步策略都不可能比单调用更省。在 QUALITY 上，成本略高（7%）但精度持平。所以"开箱即用"不是"永远更好"，而是在大多数情况下能以很低的额外成本获得显著的性能提升。

第二个：跨模型迁移（Cross-Model Transfer）。 用 Qwen3 搜索出来的策略蓝图，不改一行代码、不换一条 prompt，直接搬到 GPT-5 和 Gemini-2.5 上跑。这两个模型族是 Strategist 在搜索过程中从未见过的——GPT-5 不是任务模型，Gemini 也不是。

结果：GPT-5 上 10 个 benchmark 赢 7 个，总成本降 35%；Gemini 上赢 8 个，总成本降 40%。AQuA-RAT 在 GPT-5 上精度涨 189%，成本降 86.5%。2WikiMQA 精度涨 166%，成本降 50.8%。

这意味着什么？蓝图捕获的是任务的结构，不是模型的怪癖。一个"先提取证据再判断再审计"的三步结构，对 Qwen3 有效，对 GPT-5 也有效——因为这个结构跟任务的本质对齐，而不是跟某个模型的脾气对齐。相比之下，一些 baseline 工作流在换后端时直接崩溃——Self-Refine 和 Multi-Agent Debate 在 GPT-5 上返回格式错误的答案，因为它们的 prompt 模板跟 GPT-5 的输出格式耦合太紧。

跨模型迁移还有一个意想不到的好处：当底层模型升级时，蓝图不需要重写。你为上代模型设计的推理流程，在新模型上大概率仍然有效——因为任务的逻辑结构没有变。这降低了 AI 系统的维护成本：模型升级不再意味着 prompt 工程重做。

🔬 拆开看看：一个策略的解剖学

论文展示了一个为 Amazon-Rec（商品推荐）任务发现的策略，代码是可直接阅读的 Python。这个案例值得细看，因为它展示了 Strategist 的设计哲学。

策略的结构是五步流水线：

1. 画像构建（Profile）：用快模型（0.6B）调用构建用户偏好画像——分析用户历史购买记录、浏览行为、评分模式。便宜，为后续步骤提供上下文。
2. 信号提取（Signal Extraction）：从商品描述中提取品牌和品类信号——仍然用快模型。识别"这个用户偏好科技品牌"或"这个用户关注性价比"等关键信号。
3. 条件路由（Conditional Routing）：这是精髓。 用确定性逻辑判断：这个用户的偏好多不多？是否稳定？如果偏好稳定且明确，直接用简单推荐；如果偏好漂移或矛盾，才触发多智能体辩论——三个 agent 分别扮演"注重性价比的顾问"、"注重品牌的顾问"、"注重功能的顾问"，辩论出最终推荐。
4. 合并（Merge）：将各路径的推荐合并，按置信度加权。
5. 审计（Audit）：最后一步，检查推荐是否一致、是否有明显矛盾、是否符合用户画像。

条件路由是精髓中的精髓。不是所有输入都值得最贵的处理——对偏好稳定的用户，简单推荐就够了，多智能体辩论是杀鸡用牛刀；只有那些"摇摆不定"的输入才需要多 agent 消歧。这种按输入难度动态分配算力的思路，跟 LAND 的按源文本难度自适应分配采样（见本系列第二篇）在哲学上如出一辙：不是所有输入都生而平等，聪明的系统应该能分辨谁值得多花资源。

消融实验证实了每个组件的必要性。去掉蓝图库只跑迭代（有搜索但无积累）：平均精度从 78.7% 跌到 65.4%——因为没有外部灵感，搜索退化成在狭窄空间里重复微调，多样性丧失，陷入局部最优。去掉库且只跑一轮（zero-shot，无搜索无积累）：平均 39.4%，甚至低于大多数 baseline——Strategist 的"第一直觉"并不好，它的价值在于迭代改进和跨任务学习。蓝图库是核心——它不仅提供组件，更提供探索的方向。

跟其他框架的直接对比也很有说服力。AFlow、ADAS、EvoFlow、StrategyLLM、AgentSquare——五个已发布的自动化策略设计框架，共享相同的 meta-LLM 和执行器。Strategist 在 10 个 benchmark 上赢了 8 个，平均精度 78.7% vs 最高的 AFlow 的 67.0%。差距来自哪里？其他框架大多只优化单一任务、不做跨任务积累，或者限制在固定组件库里搜索。Strategist 的自由度更高（任意 Python 代码），积累机制更强（蓝图库跨任务增长），所以能探索更大的设计空间。

⚠️ 不过度宣称

Strategist 不是万能的，论文也诚实地展示了它的边界。

更根本的限制是：搜索本身有成本。 每个 benchmark 跑 10 轮迭代 × 5 个候选 = 50 次策略评估，每次评估在最多 100 个训练样本上运行，每次运行可能涉及多步推理和多模型调用。粗算下来，一个 benchmark 的搜索可能需要数千次模型调用——虽然用的是便宜的 0.6B-4B 模型，但累计起来不是小数目。这个搜索成本在论文里没有被完整计入总成本——蓝图库的长期价值能摊薄这个成本，但对只跑一次的任务来说，前期投入需要权衡。如果你只有一个一次性任务、以后不会再有类似任务，跑 Strategist 的搜索循环可能不划算——直接手写策略可能更快更省。

另一个值得思考的观察是：Strategist 找到的一些获胜策略其实相当简单。 论文提到，24 场胜利中有一部分来自"在搜索过程中发现的简单 baseline 脚本"——不是复杂的多步策略，而是恰好在某个 benchmark 上表现好的简单方法。这引发一个问题：Strategist 的价值到底在于"发现复杂策略"还是"在小样本上选对简单策略"？答案可能是后者更重要——在很多 benchmark 上，最好的策略不是最花哨的，而是最匹配的。Strategist 的搜索过程本质上是一个大规模的"策略-任务匹配"过程，它的贡献是把这个匹配过程自动化了。

蓝图库的长期演化也是一个开放问题。 1,865 个蓝图已经不少了，但随着任务数量增长，库会越来越大。检索质量会不会下降？旧蓝图的经验笔记会不会过时（比如某个蓝图在 Qwen3 上效果好，但在新一代模型上失效）？库需要垃圾回收机制吗？这些都是实际部署中会遇到的工程问题，论文没有深入讨论。

选择偏差。 最终策略是在隐藏集上选出的——选的是隐藏集表现最好的那个候选。这引入了选择偏差：在 30 个 benchmark 上，隐藏集比测试集平均高 4.3 个点，但测试集只高 0.7 个点。论文用测试集（完全未被搜索过程触及）作为无偏估计，这是诚实的做法，但也意味着真实世界的性能提升可能比隐藏集上显示的小。

条件路由的可解释性。 虽然蓝图是可读 Python，但当蓝图库膨胀到 1,865 个时，人工审查所有蓝图的可行性存疑。自动化发现策略的可解释性在库规模小时很好，在库规模大时可能变成一种"可以解释但没人真去解释"的状态。这与软件工程中的技术债务问题类似：自动生成的代码在生成时是可理解的，但随着规模增长，维护和理解的整体认知负担会超过人类审阅的能力。

还有一个更微妙的观察：蓝图库的内容分布可能反映了搜索过程的偏见，而不是任务空间的固有结构。30 个 benchmark 中数学和常识类占了大部分，蓝图库中可能过度代表了这些领域的推理模式。如果未来要扩展到完全不同的领域——比如科学推理、创意写作、多模态理解——库中已有的蓝图可能不仅无用，反而会把搜索引向不合适的方向。如何避免这种"经验偏见"的累积，是蓝图库长期健康发展的关键。

🌅 后半场开始自己进化

Strategist 的论文标题很克制，但结论很大胆："Until now, only the model in an AI system could learn. Now the rest of it can too."

模型能学习——通过训练，通过梯度，通过下一个 token 预测。每一代新模型都在变强，这是过去五年 AI 发展的主旋律。但模型的"使用方式"——那些决定它是平庸还是惊艳的推理结构、那些决定它是贵还是便宜的调用策略、那些决定它是可靠还是翻车的验证逻辑——从来没有自己变好过。每次部署都是从头手搓，每次经验都随人走，每次模型升级都意味着策略重做。

Strategist 证明了推理策略可以像软件一样版本化、像知识一样积累、像进化一样改进。30 个任务留下了 1,865 个蓝图——每一个都是一个被验证过的推理结构，附带实测的性能数据和前人留下的经验笔记。这些蓝图不依赖于任何特定的模型或任务，它们是对"怎么思考问题"这个元知识的编码。如果是一千个任务呢？一万个？蓝图库的复利效应才刚刚开始——每解决一个新任务，库就更丰富一点，下一个任务的起点就更高一点，搜索收敛就更快一点，需要的探索就更少一点。假以时日，这个库可能成长为一个覆盖广泛任务类型的推理策略百科全书——不是人工编纂的，而是在解决问题的过程中自然生长的。

回到三笔账的大框架：第一篇 SIMPLE Law 讲的是物理层的效率——每个 token 的电费是可以算出来的；第二篇 LAND 讲的是算法层的效率——抽签次数是可以按边际价值动态分配的；这一篇 Strategist 讲的是元认知层的效率——连"怎么用最省"这个知识本身，都是可以自动积累和进化的。

三笔账合在一起，指向同一个结论：算力不是无限的，但算力的使用方式有巨大的优化空间。 从物理定律到采样策略到策略进化，每一层都有自己的"效率账"要算。而算清这些账的工具，正在变得越来越强大。

这个系列的三篇论文恰好构成了一个完整的效率栈：SIMPLE 告诉你每个 token 的物理成本是多少，LAND 告诉你每次采样的边际价值是多少，Strategist 告诉你整个推理流程的组织方式可以好到什么程度。三层叠加，一个高效 AI 系统的轮廓就清晰了。

发动机越来越强的时代，别忘了变速箱也在进化——不是被人手搓，而是被它自己。当模型本身的学习曲线开始放缓，策略和系统层面的优化将成为下一个性能增益的主要来源。这可能预示着 AI 发展的一个新阶段：从"更大的模型"到"更聪明的使用"。

参考文献

• Lu, T., Xu, Q., Hua, Z., & Liu, Z. (2026). Strategist: Evolving Reasoning with Agents. arXiv:2611.03618. Princeton University + Meta.
• Hu, S., Lu, C., & Clune, J. (2025). Automated Design of Agentic Systems. ICLR 2025.
• Zhang, J., et al. (2025). AFlow: Automating Agentic Workflow Generation. ICLR 2025.
• Wang, X., et al. (2024). Voyager: An Open-Ended Embodied Agent with Large Language Models. TMLR.
• Zhao, A., et al. (2024). ExpeL: LLM Agents Are Experiential Learners. AAAI 2024.
• Shinn, N., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS 2023.
• Gao, C., et al. (2024). StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving. NeurIPS 2024.
• Hong, S., et al. (2024). MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework. ICLR 2024.

#LLM #Agent #推理策略 #自动化设计 #元智能体 #蓝图库 #效率 #论文解读 #费曼风格