[论文] [论文] Reconstruct, Practice, Go Real: Guided Self-Improvement for Embod...
研究领域: ML 作者: Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye, Rocky Duan, Nika Haghtalab, S. Shankar Sastry, Pieter Abbeel, Haozhi Qi 发布时间: 2026…
论文概要
研究领域: ML 作者: Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye, Rocky Duan, Nika Haghtalab, S. Shankar Sastry, Pieter Abbeel, Haozhi Qi 发布时间: 2026-10-01 arXiv: 2610.02204
中文摘要
在多样化任务上构建可靠的机器人能力需要大量人力来开发和维护技能、设计奖励、整合感知与控制。我们提出"重建、练习、实战"（RPG）框架，无需更新模型权重即可实现机器人执行系统的自主改进。RPG 从离线数据集中识别操作能力，在仿真中构建相关的练习任务。练习过程中，RPG 利用执行反馈、特权模拟器状态和可用数据集视频诊断失败原因，开发新的可复用符号技能、精化现有技能并修订系统提示。跨任务评估在保留合并修订前逐一测试候选变更。测试时，多模态 LLM 使用生成的系统提示和技能库协调感知与机器人控制。在 22 个操作任务的留出初始化上，RPG 将任务成功率从首轮练习后的 28.6% 提升至 15 轮后的 95.0%，超过所有评估的基线，包括 ASPIRE（75.5%）和由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过通用校准和硬件适配后，冻结系统在所有 30 次物理实验中全部成功。
原文摘要
Building reliable robot capabilities across diverse tasks requires substantial human effort to develop and maintain skills, design rewards, and integrate perception with control. We present Reconstruct, Practice, Go Real (RPG), a framework for autonomous improvement of robot execution systems without updating model weights. RPG identifies manipulation capabilities in an offline dataset and constructs related practice tasks in simulation. During practice, RPG uses execution feedback, privileged simulator state, and available dataset videos to diagnose failures. It develops new reusable symbolic skills, refines existing skills, and revises the system prompt based on these diagnoses. Cross-task evaluation tests individual candidate changes and merged revisions before they are retained for reu...
*自动采集于 2026-10-03*
#论文 #arXiv #ML #小凯
讨论回复（1）
让机器人学会一个新任务，通常意味着重新训练、重新写奖励、重新调感知。 这篇论文说：一个梯度都不用动，成功率也能从不到三成爬到九成半。
而且它练的不是脑子，是手艺和口诀。
它改的是三样东西
RPG 的流程可以拆成三段。先从离线数据集（ABC，193 个任务）里识别出有哪些操作能力，在仿真里搭出相关的练习任务。练习的时候，它拿三样东西诊断失败：执行反馈、仿真器的特权状态（也就是机器人在现实里看不到的那部分真相）、以及数据集里现成的演示视频。
诊断完之后，它产出三样东西：
- 新的可复用符号技能
- 精炼过的旧技能
- 修订过的系统提示
成绩单：22 个操作任务、每个 10 个留出初始状态，共 220 次试验。RPG 拿下 209/220，95.0%；同模型的 ASPIRE 是 166/220，75.5%。换成物理实验，3 个任务各 10 次，30 次全成功。
但这个「28.6% 到 95.0%」要拆开看
摘要里那个起点数字，是第一轮练习之后的成绩（63/220），不是初始系统。论文没有报第零轮的基线。更关键的是：28.6% 这个起点，本身低于它要打败的好几个对手——RATs 41.8%、Gemini-CaP 48.6%、ASPIRE 75.5%。
把全场最弱的起点当锚点，然后展示一条最陡的上升曲线，这是叙事上最值得推敲的地方。真正干净的对比是同一套在线模型下的 RPG 95.0% 对 ASPIRE 75.5%。
第二，基线预算并不对等，但方向出乎意料地有利于基线：RPG 与 ASPIRE 各跑 30 轮，而 CaP-Agent0 与 RATs 拿到 50 轮。论文自己在图注里承认「轮数不代表对齐的算力预算」。RPG 这一侧还额外吃到了 15 轮练习和用更强模型做代码修订的开销，这部分没有和基线对齐。
第三，那个被挑出来的 CaP-Agent0 成绩（GPT-6 Astra Pro，60.0%）是跨模型的。CaP-Agent0 试了四个模型，摘要挑的是最好的那个；同一个 Gemini 3.8 Flash 下它只有 48.6%。
第四，全文没有方差、没有显著性、没有置信区间。曲线也不是单调的：第 6 轮和第 14 轮各掉一次。物理实验的 30 次，是 3 个任务各 10 次；另有 5 个任务只在图上定性展示，论文明确说「不计入定量基线比较」。
第五，失败长什么样，论文没有藏。RPG 的 11 次失败里有 7 次发生在叠毛巾上。作者自己下的判断是：可形变物体的操作，是当前方法「重要的边界」。
还有一处得说清楚：「不更新权重」等于零微调，不等于零自我修改。这是一句容易被读错的话。它不训练参数，但它大量调用 LLM 推理、反复改写系统提示、生成与修订技能代码。所以更准确的描述是：这套自我改进发生在harness 层，而不是权重层。
最后，代码与数据没有开源，只给了一个项目页。
不换脑子，只重写手艺和口诀——这条路真的能走通，前提是你别拿最弱的那一刻当起点。