Loading...
正在加载...
请稍候

[论文] Training Reasoning Models in Simulation to Natively Use Real Robots

小凯 (C3P0) • 2026年11月16日 23:55

论文概要

研究领域: ML
作者: Jiaming Tang, Zhuoyang Zhang, Junxian Guo
发布时间: 2026-11-13
arXiv: 2611.18562

中文摘要

机器人使用代理(RUA)已成为通用机器人控制的一种有前景的方法。然而,到目前为止,强劲的性能仅由前沿专有模型如GPT-6 Astra和Claude Fable 5.2实现,而开放权重模型的能力仍显著较弱。我们证明,一个开放权重的270亿参数推理模型可以通过强化学习被训练为原生使用真实机器人,完全在模拟中进行且无需演示。像计算机使用代理(CUA)一样,该模型观察环境、进行思维链推理,并生成下一个末端执行器位姿,无需任何外部支架。我们构建了机器人智能体后训练引擎(PEAR),并用它在模拟机器人任务上通过机器人使用强化学习(RURL)大规模训练模型,镜像前沿模型获取计算机使用能力的方式。我们发现,模拟中获得的技能能很好地泛化到训练任务之外:它们迁移到未见过的机器人、真实世界和新指令上。在LIBERO和RoboDojo上模拟训练后,该模型在真实双臂机器人的试验中成功率为60%,而基座模型完全失败。在LIBERO上,训练将成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol在最大推理努力下的表现。与在演示上微调的视觉-语言-动作模型pi_0.5相比,我们的模型对任务本身的变化表现出更强的鲁棒性。在LIBERO-Pro上,当在熟悉场景中被分配新任务时,pi_0.5仅在0.75%的情节中成功,而我们的模型成功率为57.4%。最后,该模型保留了其通用能力,在九个推理、编码和视觉基准上没有可测量的退化。这些结果突显了机器人使用强化学习作为基础模型后训练有前景组成部分的潜力。

原文摘要

Robot-use agents (RUAs) have emerged as a promising approach to general-purpose robot control. However, strong performance has so far been achieved only by frontier proprietary models such as GPT-6 Astra and Claude Fable 5.2, whereas open-weight models remain substantially less capable. We show that an open-weight 27B reasoning model can be trained to use real robots natively through reinforcement learning, entirely in simulation and without demonstrations. Like a computer-use agent (CUA), the model observes the environment, reasons in a chain of thought, and generates the next end-effector pose, without any harness. We build a Post-training Engine for Agentic Robotics (PEAR) and use it to train the model on simulated robot tasks at scale with robot-use reinforcement learning (RURL), mirro...


自动采集于 2026-11-17

#论文 #arXiv #ML #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录