StraTA：让 AI 智能体告别"健忘症"的战略规划框架深度解析

反应式决策 vs. 战略规划：AI “走一步忘一步”的根源

当前基于大语言模型（LLM）的智能体在长程任务中往往“走一步忘一步”，难以坚持初衷。根本原因在于这些智能体采用反应式决策模式：每一步都仅根据当前观察做出反应，缺乏全局规划。这种短视策略在短期任务中尚可，但在需要多步决策的复杂任务中会迷失方向，原因有两点：

• 探索盲无目的：没有全局蓝图，智能体在探索环境时容易漫无目的地尝试，走了很多弯路却离目标越来越远【17†source】。例如，在网络购物任务中，一个没有策略的智能体可能反复浏览无关商品，却始终找不到目标物品。
• 信用分配稀释：在长轨迹中，最终成功或失败的信号很难追溯到早期的关键决策【17†source】。由于每一步都是独立反应，智能体难以判断哪一步走对了、哪一步走错了，导致学习效率低下，容易重复犯错。

ReAct、Reflexion 等先前方法虽然引入了推理轨迹和反思机制，但这些仍然是逐步的反应式规划，并非对整个任务轨迹的战略承诺【17†source】。换言之，当前智能体缺少的是“先画地图再出发”的全局策略：在执行具体动作前，先制定一个贯穿始终的宏观计划来指导行动。没有这样的战略约束，智能体就像无舵之舟，在复杂任务的长河中随波逐流，最终忘记最初的目标。

分层 GRPO 训练：将 DeepSeek 封神算法升级到多回合决策

《StraTA》论文的核心创新在于引入分层 GRPO（Hierarchical GRPO）训练框架，将让 DeepSeek 等模型声名大噪的 GRPO 算法扩展到智能体多回合决策领域，完美解决了长期困扰强化学习的“信用分配灾难”问题。

GRPO 算法回顾：GRPO（Group Relative Policy Optimization）是一种基于群组相对比较的策略优化方法，由DeepSeek团队提出并用于提升大模型的推理能力【11†source】。其核心思想是：对于同一问题，生成多个候选回答，然后比较这些回答的优劣来更新策略。具体来说，GRPO 将每个回答与同一组内其他回答相对比，计算优势值（advantage），从而判断哪个回答相对更好【16†source】。这种相对比较方式避免了对绝对奖励的依赖，减轻了奖励稀疏和偏差的问题，使得模型能够更稳定地学习。在 DeepSeek 的应用中，GRPO 通过对比多次采样结果，让模型学会产出更高质量的推理路径，实现了性能的大幅飞跃。

分层 GRPO 创新点：StraTA 将 GRPO 的思想提升到策略-动作两级，以适应智能体多回合决策的需求【17†source】。在 StraTA 框架下，一次任务执行不再是单一策略的多次独立尝试，而是先采样多条全局策略，再在每条策略下执行多回合动作。具体而言，对于给定任务，StraTA 首先让模型生成 N 条不同的全局策略（例如，N 种不同的任务解决思路），然后在每条策略下独立执行 M 次完整的交互轨迹，总共得到 N×M 条轨迹【17†source】。这 N×M 条轨迹被组织成两级群组进行比较：

• 策略级群组：比较不同策略的优劣。将每条策略看作一个“选手”，根据其下属 M 条轨迹的表现来评判该策略的好坏【17†source】。关键的是，StraTA 并非简单地对 M 条轨迹取平均，而是取表现最好的前 δ 比例轨迹的平均奖励作为该策略的奖励【17†source】。这种设计强调“策略的最好执行结果”，避免了因早期动作噪声导致的低质量轨迹拉低对策略的评价，使策略奖励更忠实于策略本身的质量而非执行瑕疵【17†source】。
• 动作级群组：比较同一策略下不同执行路径的优劣。对于每条策略，其 M 次执行构成一个动作级群组，通过比较这些轨迹的相对表现来更新动作执行策略【17†source】。这样，模型可以学习在给定策略下如何更好地执行具体步骤。

通过这种分层比较，StraTA 实现了对策略和动作的联合训练：策略生成器学习产出能够带来高奖励的全局计划，动作执行器学习在给定策略下选择最优行动【17†source】。分层 GRPO 将“这个计划好不好”与“这个动作执行得好不好”两个问题分开回答，从而有效解决了长程任务中的信用分配难题——策略级比较让模型明白哪条思路是正确的，动作级比较则让模型知道在既定思路下每一步该如何改进。这种先规划后执行的分层训练方式，使得智能体不再迷失于短期反馈，而是朝着全局最优的方向前进。

最远点采样：借 3D 几何算法逼迫 AI 跳出同质化思考

为了让智能体在策略空间中真正广泛探索，StraTA 引入了一项巧妙的技术——最远点采样（Farthest Point Sampling, FPS）。这项技术借鉴自三维几何处理领域，用于在候选策略中选择出语义上差异最大的子集，从而逼迫模型跳出同质化思考，实现高维策略空间的有效探索【18†source】。

问题背景：在策略采样阶段，如果直接让模型生成多条策略，由于大模型倾向于产生相似的回答，即使提高采样温度，也往往得到语义高度重复的计划【18†source】。例如，对于同一个任务，模型可能多次生成思路几乎相同的策略，只是措辞略有不同。这种同质化会严重限制策略空间的探索，使得模型难以发现更优的解决方案。

FPS 算法原理：最远点采样是一种贪心算法，目标是在给定候选点集中选出若干点，使得这些点彼此之间的距离（差异）尽可能大【18†source】。StraTA 的具体做法是：首先对模型过采样生成 σ×N 条候选策略（σ 为大于1的过采样倍率），然后通过预训练的文本嵌入模型（如Sentence-BERT）将每条策略编码为向量表示【18†source】。接着，算法迭代地挑选策略：第一步选择与所有候选策略向量平均向量最接近的策略作为起点；之后每一步，从未选中的策略中挑选一个与已选策略集合最不相似的策略加入集合，衡量标准是该策略与已选策略的最大余弦相似度最小【18†source】。直观地说，每一步都选出一个与已有策略“最不相同”的新策略，确保最终选出的 N 条策略在语义上尽可能多样化。

效果与意义：通过 FPS，StraTA 能够从大量候选策略中筛选出一组高多样性的全局计划。这相当于在策略空间中进行了一次“远足”，让模型跳出熟悉的思路，去探索那些原本概率较低但可能有奇效的策略。例如，在科学实验任务中，模型可能惯于采用某种固定流程，但经过 FPS 采样，它被迫尝试一种完全不同的实验方案，结果发现该方案更高效。FPS 的引入极大提升了策略探索的覆盖面，避免了智能体陷入局部最优的思考模式，为后续的分层 GRPO 训练提供了更丰富的策略比较素材。简单来说，最远点采样让 AI 的“脑洞”开得更大，不再局限于同一条思维的重复播放，而是真正探索多样的可能性。

开发者落地指南：无需强化学习，用“全局战略规划器”让业务 AI 变聪明

对于普通开发者而言，直接实现论文中的强化学习训练流程可能门槛较高。幸运的是，StraTA 的精髓在于“先画地图再出发”的思想，这在工程落地时可以有更轻量的实现方式。开发者无需从零开始搞强化学习，也可以借鉴 StraTA，通过在现有工作流顶端加入一个“全局战略规划器”来让业务 AI 瞬间变聪明。

通过以上步骤，开发者可以在不进行强化学习训练的情况下，大幅提升业务 AI 在长程任务中的表现。这种方法的核心价值在于结构化决策：将“想”和“做”分离，先由战略规划器统筹全局，再由执行器按图索骥。实践证明，这种“先规划后执行”的模式可以显著减少 AI 在复杂任务中的迷失和返工，让有限的计算资源用在刀刃上，从而提高任务成功率【17†source】。对于资源有限的团队来说，这是快速让 AI 智能体变聪明的实用路径。

结语：战略规划让 AI 智能体告别健忘，走向高效

从“走一步忘一步”的健忘症，到“先画地图再出发”的高效决策，StraTA 论文为我们揭示了提升 AI 智能体长程决策能力的关键：引入显式的全局策略，将反应式决策升级为战略规划式的决策。分层 GRPO 训练确保了策略与行动的协同优化，最远点采样逼迫模型跳出思维舒适区探索更优策略，而这一切在工程上又可以通过简单的“全局战略规划器”来实现。实验结果令人振奋：一个 7B 参数的开源模型在引入 StraTA 后，于 WebShop 任务上的成功率从5.3%飙升至84.2%【16†source】，在 ALFWorld 上更是达到了93.1%的成功率【16†source】，甚至在 SciWorld 上以63.5%的得分超过了 Claude 等闭源巨头【16†source】。这充分证明了战略规划对于复杂决策的威力。

更重要的是，StraTA 所倡导的“先规划后执行”思想具有广泛的适用性。无论是强化学习训练，还是纯工程提示设计，我们都可以从中得到启发：让 AI 在行动前先制定一个全局计划，然后严格按照计划行事，在执行过程中不忘初衷。这不仅能提高任务完成的成功率，还能让 AI 的行为更加可解释和可控。可以预见，在未来的 AI 智能体设计中，引入显式的策略层将成为标配，正如人类在复杂任务中先做计划再行动一样自然。AI 的健忘症终于有救了——只要让它学会在出发前先画好地图，它就能在复杂任务的长途跋涉中始终朝着目标前进，不再迷失方向。【17†source】