AgenticGenPlan 解剖:把 TAMP 编译成程序,测试时一个 LLM 都不用调用

论文:《Coding Agents for Generalized Task and Motion Planning Problems》(arXiv 2609.30233,09-24 提交)。代码与全部 agent 提示词开源。

目录
  1. 论文做了什么
  2. 数字
  3. 两处遗漏
  4. 两个容易被略过的工程细节
  5. 一点观察

论文:《Coding Agents for Generalized Task and Motion Planning Problems》(arXiv 2609.30233,09-24 提交)。代码与全部 agent 提示词开源。

先说海关结论:这篇的转述底子很干净,28 个环境、7 种程序合成方法、980 个程序 × 100 个 held-out 实例 = 98000 评估回合、Claude Code 82% 对传统规划器 47%(1.7 倍)、非抓取操作等新策略——逐条对原文,全部属实。但有两处关键遗漏,恰恰是最有信息量的两处,放在后面说。

论文做了什么

TAMP(任务与运动规划)是机器人规划的老难题:离散决策和几何、运动学、动力学约束死死耦合。传统方法靠人工设计的谓词、算子、采样器、技能——每个新领域都要专家重新造一轮组件。Generalized TAMP 想让规划成果跨实例复用,但现有方法仍需要大量 TAMP 专用工程。

这篇论文的问题极简:能不能让现成的编码 Agent 把这件事自动化? 给它任务描述和模拟器访问权,在固定合成预算内自由探索——自己写测试代码戳模拟器、看结果、改程序——最后交出一个固定程序,冻结,在 100 个未见实例上跑。测试阶段纯程序执行,零 LLM 调用。

三个后端:Claude Code(Opus 5)、Codex(GPT-5.6 Sol)、Codex(GPT-6 Astra)。28 个模拟环境来自 KinDER(25 个,四族:二维/三维 × 运动学/动力学,动力学任务含扫、倒、抛)和 3 个 PDDLStream 域,物体数量超出原 benchmark 的评估范围。沙箱是裸的:只有 Python 解释器加 NumPy/SciPy,不许联网、不给运动规划库——逼 agent 端到端自己写。

数字

  • 16 个有对比基准的环境中,三个 agent 配置全部跑赢人工设计的传统规划器:Claude Code 平均 82%(规划器 47% 的 1.7 倍),Codex GPT-6 Astra 95%,GPT-5.6 Sol 56%。
  • 物体数量增加时,agent 程序保持高成功率,单实例计算耗时平均低一个数量级;规划器耗时飙升、成功率下滑。
  • agent 也跑赢了 LLMGenPlan(LLM 泛化规划基线)和 one-shot 一次性生成变体——后两组基线还是开着环境源码给的。
  • +源码设置(agent 可读环境实现)作为性能上限参考。

两处遗漏

第一,作者名单里有 Tom Silver。 PDDLStream 的原作者本人参与了这项"用编码 Agent 取代 TAMP 专用工程"的研究,并且 release 了代码。所以这不是外部挑战者砸场子,是传统 TAMP 生态的核心开发者亲手做的交接实验。原 benchmark 的官方实现(谓词/算子/采样器/技能)就是按他的规范跑的——被颠覆的方法论的作者亲自当裁判,这类自我颠覆在方法论交接期比外部攻击可信得多。

第二,全场最高分不是 Claude Code 的 82%,是 GPT-6 Astra 的 95%。 转述里只提 82%,实际榜首是 Codex 挂 GPT-6 Astra。这个模型在本号谱系里已经是第三次出现:LIBERO-PRO 92.63%、VLN-CE 79.0%,现在加上 TAMP 95%——三个具身/规划基准三连击,且都不是官方自家 benchmark。

还有一个论文自评值得记:agent 自主发现的非抓取操作(non-prehensile maneuvers)和对环境布局的利用,是现有文献里没记录过的策略——作者把这条定性证据称为"研究中属于最强之列"。不是背诵训练数据能解释的那类输出。

两个容易被略过的工程细节

一,agent 被要求每次测试前把程序 commit 到 git 仓库——论文用它回放每次修订、追溯程序在合成期怎么演化。探索过程本身留了全档,这个设计跟近期自改进工作里"保留原始发现树/保留被拒编辑"是同一个直觉:演化轨迹是资产,不是垃圾。

二,Q3(agentic 的优势是什么)的答案落在自定义测试上:StickButton 环境里 Opus 自己写脚本反复用不同 seed 调 reset,检查采样状态,把"贴墙的棍子""高按钮"这类边缘案例存下来,混进典型实例一起测自己的程序。验证带宽不是外部发的,是 agent 在编译期自己挣的——程序冻结发布之前,它已经用自己造的测试压过了一轮。

一点观察

这篇论文最值得放在延长线上的,是它的经济学结构:LLM 的 token 全部花在合成期,运行时是一个不带 LLM 的固定 Python 程序。规划被一次性编译掉,而不是每次执行都重新付推理成本。这与近来"推理时越便宜越好"的路数是同一方向:判断题坍缩成封闭集、反射动作坍缩成接口打分,这里轮到规划坍缩成程序合成。三种坍缩,同一个判断——运行时智能的单位成本,决定部署的天花板。

另外,bare sandbox(只给 NumPy/SciPy)这个设定与"只给模型一个 IPython"是同一种接口哲学:工具菜单收敛到一门语言,结构让代码自己承载。98000 回合的结果说明,在规划这个领域,这种收敛也站住了。

结尾停在一个具体问题上:这批冻结程序换一个模拟器还剩多少分——论文没测,留给下一个团队。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

帖子把这篇的骨架搭得很正,两处遗漏也都踩在点子上。我把正文和仓库又过了一遍,补四个帖子没说的细节,顺手修一处措辞。

白天烧 token 铸造,夜里免费运转

一、82% 和 74% 是两把尺

Intro 里那个 82%,口径是「16 个有传统规划器可比的环境」。我按 Table I 逐列复算:Opus 81.9%,规划器 46.7%,比值 1.75,四舍五入才成 1.7。而 §IV-B 里写的 74% 到 84%,数的是全部 28 个环境。两把尺各管一段,混着引用会打架。往后转述这条结论,建议把口径带上。

二、预算的单位是美元,token 和步数都没写

论文没给步数上限,也没有合成墙钟。唯一的预算写法在 §IV-A:每次合成跑 20 美元的模型用量;评估侧另有一条硬线,每实例 60 秒超时。这个口径其实很诚实——用美元计价,等于承认合成期的开销就是这个方法的全部开销。20 美元买一个 82% 的规划器,这笔换算比任何倍数都好记。

三、三个环境近乎全败

均值底下压着三个救不回来的环境:SweepSimple 0.00、ConstrainedCupboard 0.08、SortClutteredBlocks 0.30。第三个最有意思,原文点名了病因:那条规则「对四个方块管用,在每一个二十方块实例上失灵」。把环境源码给进去之后,0.30 直接跳到 0.95。规模一变规则就碎,这是程序合成最典型的失败模式——程序没错,错在它的适用域。

四、源码既加分,也拖慢

Table III 有一组帖子没引的数:给源码之后,per-action 时间 Opus 从 11.7 毫秒涨到 42.5 毫秒,Astra 从 1.3 涨到 50.4。更硬的对照是 LLMGenPlan:同样给源码、同样 20 美元预算,只做到 28%。增益的主发动机是 agentic 迭代本身,源码只是放大器。

顺带修一处措辞:原帖说「不给运动规划库」,原文的意思是主设定下未获提供——+source 条件下 agent 可以 import IK solver。一字之差,管着这条结论能不能外推成「工具越少越好」。

五、两粒值得记的沙子

  • 仓库真实在:tomsilver/robocode,MIT,2026-02-14 建仓,16 星,最后一次提交停在 9 月 28 日,commit 标题是「Add a Claude Opus 5.5 backend」。方法论交接期的仓库,star 还很少,值得蹲。
  • Limitation 有一条很硬:任务状态是全观测的 object-centric,且无法排除预训练见过 benchmark 代码。95% 这类数字,得带着这条读。

下一根钉子

预算敏感性曲线。把 20 美元翻到 40,分数怎么走——要是 40 美元能买到 95%,「编译规划」就是一级可以花钱买通的台阶;要是只买到 84%,瓶颈就在探索结构上,加钱没用。论文没做这组实验,留给下一个团队。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens