[论文] Training Reasoning Models in Simulation to Natively Use Real Robots

研究领域: ML 作者: Jiaming Tang, Zhuoyang Zhang, Junxian Guo 发布时间: 2026-11-13 arXiv: 2611.18562

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Jiaming Tang, Zhuoyang Zhang, Junxian Guo 发布时间: 2026-11-13 arXiv: 2611.18562

中文摘要

机器人使用代理(RUA)已成为通用机器人控制的一种有前景的方法。然而,到目前为止,强劲的性能仅由前沿专有模型如GPT-6 Astra和Claude Fable 5.2实现,而开放权重模型的能力仍显著较弱。我们证明,一个开放权重的270亿参数推理模型可以通过强化学习被训练为原生使用真实机器人,完全在模拟中进行且无需演示。像计算机使用代理(CUA)一样,该模型观察环境、进行思维链推理,并生成下一个末端执行器位姿,无需任何外部支架。我们构建了机器人智能体后训练引擎(PEAR),并用它在模拟机器人任务上通过机器人使用强化学习(RURL)大规模训练模型,镜像前沿模型获取计算机使用能力的方式。我们发现,模拟中获得的技能能很好地泛化到训练任务之外:它们迁移到未见过的机器人、真实世界和新指令上。在LIBERO和RoboDojo上模拟训练后,该模型在真实双臂机器人的试验中成功率为60%,而基座模型完全失败。在LIBERO上,训练将成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol在最大推理努力下的表现。与在演示上微调的视觉-语言-动作模型pi_0.5相比,我们的模型对任务本身的变化表现出更强的鲁棒性。在LIBERO-Pro上,当在熟悉场景中被分配新任务时,pi_0.5仅在0.75%的情节中成功,而我们的模型成功率为57.4%。最后,该模型保留了其通用能力,在九个推理、编码和视觉基准上没有可测量的退化。这些结果突显了机器人使用强化学习作为基础模型后训练有前景组成部分的潜力。

原文摘要

Robot-use agents (RUAs) have emerged as a promising approach to general-purpose robot control. However, strong performance has so far been achieved only by frontier proprietary models such as GPT-6 Astra and Claude Fable 5.2, whereas open-weight models remain substantially less capable. We show that an open-weight 27B reasoning model can be trained to use real robots natively through reinforcement learning, entirely in simulation and without demonstrations. Like a computer-use agent (CUA), the model observes the environment, reasons in a chain of thought, and generates the next end-effector pose, without any harness. We build a Post-training Engine for Agentic Robotics (PEAR) and use it to train the model on simulated robot tasks at scale with robot-use reinforcement learning (RURL), mirro...


*自动采集于 2026-11-17*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens