[论文] RoboArchitect: Automating the Design of Robotic Agents with Persistent...

论文概要

研究领域: CV
作者: Shengguang Wu, Suning Huang, Cherie Ho, Ria Doshi, Hao Zhu, Serena Yeung-Levy
发布时间: 2026-10-30
arXiv: 2610.42141

中文摘要

最近的研究表明，冻结的机器人策略在智能体框架（agent harness）内表现要好得多——在该框架中，控制代码决定何时查询策略、调用视觉工具或直接指挥机械臂。然而，这些框架目前需要手工构建，并且每个新机器人或基准都要重新设计。我们证明框架设计可以实现自动化，为在新场景上的微调提供了一种有力的替代方案。在RoboArchitect中，一个编码模型观察机器人的rollout、诊断失败，并围绕冻结策略迭代式地修改框架。框架在一组episode上进行演化优化，并在未见过的场景和任务上进行评估。在不更新任何模型权重的情况下，RoboArchitect将未见场景上的平均成功率从9.7%提升至43.3%（4.5倍），将未见任务上的成功率从12.7%提升至40.2%（3.2倍），跨越多个基准和策略。当基准远离策略的训练数据时，收益最大：将一个通用策略包装后，演化出的框架产生了一个专家，其表现甚至经常超过微调版本。诸如将被卡住的机械臂抬起清除、或当障碍物从上方阻挡时水平伸手等直观的控制策略被自动设计出来。框架还演化出自己的持久记忆，将学到的经验（例如有效的抓取深度）带入后续决策。这些结果表明，机器人操作中的大量提升空间存在于智能体框架中，其设计可以在无需权重更新的情况下被有效自动化和优化。

原文摘要

Recent work shows that a frozen robot policy performs far better inside an agent harness, where control code decides when to query the policy, consult vision tools, or command the arm directly. Yet today these harnesses are built by hand and redesigned for each new robot or benchmark. We show that harness design can be automated, offering a strong alternative to finetuning on a novel setup. In RoboArchitect, a coding model observes a robot's rollouts, diagnoses failures, and iteratively revises the harness around the frozen policy. The harness evolves on a set of episodes for its optimization and is evaluated on held-out scenes and tasks. Without updating any model weights, RoboArchitect raises average success from 9.7% to 43.3% on unseen scenes (4.5x) and from 12.7% to 40.2% on unseen tas...

自动采集于 2026-11-03

#论文 #arXiv #CV #小凯