智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

具身 · 换一句指令,96.9 掉到 0.75;换一台真机,30 次做成了 18 次

换一道题,见两种人 · SVG 动画卡

把两个数字并排放好,再看这项工作的分量。场景,物体,初始状态全都不动,只把训练时那句「把碗放到盘子上」改成「把碗放到炉灶上」,π0.5 的成功率从 96.9% 掉到 0.75%,少了 96.2 分;同一条件下 PEAR 从 74.4% 落到 57.4%,少了 17.0 分。

另一头是台没见过的机器。双臂 YAM 真机,仿真器,机械臂型号,物理环境对模型全陌生,30 次测试做成 18 次,底座模型是 0 次。

MIT 韩松团队方向开源的 PEAR,全称 Post-training Engine for Agentic Robotics。预印本约在十一月十四日公开,中文报道见于十五日。它把一个 27B 的开源模型完全放在仿真里做强化学习,没用一帧人类遥操作示范,也没碰一条真机数据。

把机械臂当成一台电脑来用

先看电脑操作智能体怎么干活。看一张截图,思维链里想「保存按钮在右上角」,吐出 click(812, 431),操作系统把鼠标挪过去。一轮结束,新截图回填,进入下一轮。

PEAR 把同一套回路平移到三维。每一回合,模型收三路摄像头画面与机械臂当前的关节状态,在思维链里判断夹爪与目标物的相对位置,然后输出一段 JSON,内容是末端执行器下一个目标位姿的六个分量,位置三个,姿态角三个。逆运动学把位姿解成关节角,底层控制器驱动机械臂到位。这一回合连同新拍到的画面写回上下文,下一轮接着来。

团队说这套方案「无需 harness」,指的是没有另加感知模块,抓取规划器或预置技能库;定位物体,规划路径,判断上一步偏差都由模型从画面里自己完成。机器人描述、动作协议与控制器还在,这三样不能算进「无需」里。这个界限有晨报专门点出来,读的时候别把话说满。

训练方案叫 Robot-Use RL。底座是 Qwen3.8-27B,训练基础设施架在 veRL 上,用全异步强化学习,算法侧 GRPO 配动态采样与 Score Centering。长上下文靠 FSDP 与序列并行,梯度检查点和激活卸载压显存,跨轮次的 KV 缓存由 LMCache 卸到 CPU 内存。仿真环境挂在同一个 Ray 集群里,MuJoCo 跑 CPU,Isaac Sim 跑 GPU。

两张成绩单,先别急着比

LIBERO 是机器人操控的经典 benchmark,四个子套件合计 2000 个评测 episode。把公开材料里的数字摆齐:

模型与档位 LIBERO 成功率 说明
Qwen3.8-27B 零样本 1.6% PEAR 的底座
PEAR xhigh 74.4% 纯仿真 RL 之后
GPT-6 Astra medium 49.3% 闭源旗舰
GPT-6 Astra max 76.2% 闭源旗舰
GPT-6.1 Sol medium 48.1% 闭源旗舰
GPT-6.1 Sol max 80.6% 闭源旗舰
π0.5 原版 96.9% 对每项任务用人类示范做过监督微调

单看这一行,PEAR 的 74.4% 比 π0.5 的 96.9% 低了二十多个百分点,落在两家闭源旗舰的 medium 与 max 之间。团队自己也没绕开这个差距。

有意思的是下一张表。π0.5 的 96.9% 有个前提:它在 LIBERO 上对每项任务用人类示范做了监督微调。分数高,与训练分布对得齐是两件事。

只换一句指令之后

研究者做了两个扰动版本。LIBERO-Plus 动观测条件,相机角度,光照,背景与传感器噪声都变,两个模型下降幅度接近。LIBERO-Pro 直接改任务目标与物体布局,分化就出来了。

扰动 π0.5 PEAR 差值变化
原版 96.9% 74.4% 基线
任务替换 只改指令 0.75% 57.4% π0.5 掉 96.2 分,PEAR 掉 17.0 分
布局替换 物体位置对调 20.8% 57.5% π0.5 掉 76.1 分,PEAR 掉 16.9 分

布局替换那一行值得多看一眼。指令没变,物体位置对调,完成同一句话得走另一条运动路径。π0.5 跌到 20.8%,PEAR 落在 57.5%。

这里必须补一条限定:π0.5 在另外两种扰动上仍然领先,改写指令措辞与替换物体外观,这两种情况下正确的运动轨迹没有变。团队给的解释是,π0.5 记住了训练中见过的运动模式,模式适用就拿高分,模式失效就断崖;PEAR 保留了基础模型的指令理解与视觉感知,强化学习教它按当前画面与当前指令重新生成位姿。一个偏模仿,一个偏推理,任务条件一动,差别被放大。

三级迁移,与一台没见过的真机

纯仿真训练之后,团队从三个方向测迁移,最后落到真机。

层级 条件 底座 PEAR
新任务 LIBERO-Long 零样本,同仿真器同 Franka 臂 0.4% 39.0%
新机器新仿真器 RoboDojo general_pickup,换双臂 ARX 10.7% 39.9%
新 benchmark RoboLab-120,120 个桌面任务 5.4% 37.3%
真机 双臂 YAM,30 次 0/30 18/30

RoboLab 排行榜上另有几行可对照:NVIDIA Cosmos3-Nano-Policy 36.8%,π0.5 28.0%,DreamZero 25.7%,GR00T N1.6 7.2%。PEAR 与 Cosmos3 几乎打平,高于其余三家。

真机那 30 次拆得很细。Align blocks 组用三角尺把三个积木摆成直线,5 个场景各 2 次,共 10 次,做成 6 次。General pickup 组抓 10 种物体,绳子,螺丝,遥控器,毛绒乌龟,网球,订书机,洗洁精,喷雾罐,气泵,刷子,每种 2 次,共 20 次,做成 12 次。只在 LIBERO 上训过的中间检查点是 7/30,底座是 0/30。

有一条限定得跟着 18/30 一起读:这两个任务已经在仿真套件 RoboDojo 与另一台本体上练过,算不上全新任务族。陌生的部分是仿真器、机械臂型号与物理环境,任务本身见过。写成「随便换个新工种也能干」就走过头了。

思考量与成绩基本成正比

每一步动作前都要走一遍思维链,解码速度直接决定机械臂的响应节奏。推理栈用 NVFP4 权重量化,配 Inco AI 的 DFlash2 drafter,平均接受长度 3.2 token。三档硬件的解码速度拉得很开:Apple M5 Max 是 52 tok/s,单张 RTX 5090 用 megakernel 到 221 tok/s,单张 GB300 是 747 tok/s。

以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。low 档思考 token 约 0.86k,xhigh 约 3.23k;LIBERO 成功率从 74.4% 掉到 21.9%。模型训练时只用了 xhigh 档,推理时 effort 仍可调,这条曲线把「想多久」与「做成多少」摆在同一张图上。

成绩评测用的是未量化 BF16 权重,量化精度与逐动作推理时延仍是优化重点,这一条来自券商点评,不是团队的评测口径。221 tok/s 说的是解码速度,与 60% 的真机成功率是两个量,别乘在一起看。

通用能力还在,账也得算全

学完机器人操控之后,同一个模型在九项通用 benchmark 上的分数几乎没变。AIME 2026 数学竞赛 98.5,GPQA Diamond 科学知识 89.7,LiveCodeBench 代码能力 88.4,视觉基准与底座的差距都不超过 2 分。一套权重既能推理,写代码,答图像问题,也能驱动机械臂,端侧场景省下维护多套模型的工夫。

代码与权重已经开源,GitHub 仓库在 mit-han-lab/pear,权重放在 Hugging Face 的 mit-han-lab 集合,另有技术博客与论文 PDF。仓库里训练和部署各占独立目录,部署侧含一个 vLLM 模型服务器与驱动 YAM 或 SO-101 的 robot station,评测侧覆盖 LIBERO,两个扰动版本,RoboDojo,RoboLab-120;通用侧用 EvalScope 跑九项。

边界也要一并写清。60% 的真机成功率距离生产级可靠性还远,30 次测试的样本量偏小。LIBERO 原版落后 π0.5 超过二十个百分点,说明训练分布高度对齐时,专用模仿策略仍占优。所有性能数字都来自团队自建评测与自述,未见第三方独立复现;与闭源模型对比时评测协议是否完全一致,公开材料里没有展开。

仿真这头与工地那头

十一月十六日的具身晨报把产业侧并排放在同一天:工地上的抹灰机器人给出的是日均作业面积与墙面平度,创始人说客户付钱是因为墙抹平了;智元的合伙人的说法是,大部分客户还不敢在真实场景里每天用灵巧手。那头算的是墙,这头算的是换一句指令还干不干得成。

PEAR 把一道题摊开了:示范微调容易把「会做这道题」练成「只会做这道题」。一个在仿真里用强化学习训过的 27B 通用模型,换指令还能干成一半以上,可它在真机上做成的,是已经在另一台仿真双臂上见过的任务。训练再快,先填不了灵巧手敢不敢每天上岗那道关。

参考文献:PEAR 团队技术博客《Training Reasoning Models in Simulation to Natively Use Real Robots》与论文 PDF,GitHub 仓库 mit-han-lab/pear,Hugging Face mit-han-lab/pear 权重集合,预印本约 2026-11-14 公开;机器之心与凤凰网科技 11-15 报道;具身前沿晨报 11-16(含「任务已在 RoboDojo 练过」与「无需 harness」的限定);第三方分析文章与券商点评(训练基础设施、未量化 BF16 评测口径)。LIBERO 2000 episode,两组扰动数值,三级迁移,30 次真机构成,解码速度与各档思考量均回上述材料逐项核对;60% 成功率、样本量与未见独立复现属公开材料自述边界。

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录