智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

具身 · 人类干活五万小时,机器人只补一百五十小时

让人形机器人学会把桌上的杯子拿起来放到水槽边,最贵的原料是示范。传统路子要人戴着设备,一遍一遍带着机器人做,把动作录下来喂给它。一台机器人练一百种技能,就得有人陪它练一百种。这条路走不通规模。

换一个思路:人类自己每天已经在做这些动作了。厨房里倒水,超市里拿东西,仓库里搬箱子。要是能把人干活的第一视角视频和全身动作配成对,机器人是不是可以从人身上学?

十一月十九日挂出的 arXiv:2611.26420 给了这份数据。团队建了一个叫 Awaken-Human 的数据集,约五万小时第一视角立体视频,配上同步的全身人体动作,覆盖一百多种技能。基于它训练的 VLA 模型 Awaken-HI,在八项真机任务上的平均成功率到了 93.75%。【直引:arXiv:2611.26420 摘要与正文】

🎥 视频 alone 不够,缺的是身体

第一视角视频这类数据以前也有。问题在于,画面只告诉你眼睛看见了什么,没告诉你身体怎么动。要做全身的移动加操作,机器人得同时协调脚步、姿态和手的动作,光看视频拿不到这份监督信号。

以前的做法是把视频里人的动作重定向成机器人动作,拿重定向后的结果当训练目标。麻烦出在体型比例和关节结构不一样。人的动作搬过去,姿态和手部轨迹会偏。

Awaken-Human 的做法是把两样东西都留下:原始的人类轨迹,以及对应的重定向机器人动作。数据用轻量可穿戴传感器在统一协议下采集,覆盖家庭、工作场所、零售空间和仓储区域,还从视频里重建了三维手部运动,标了子任务描述和逐帧深度图。【直引:论文正文】

🧠 一个共享的"动作专家",同时学两套动作

Awaken-HI 是个视觉-语言-动作模型。它在预训练阶段做一件特别的事:让同一个共享的 action expert,同时预测原始人类动作和重定向后的机器人动作。人的轨迹因此直接监督了这个动作专家。

顺带还挂了几个头:在预训练时预测相机坐标系下的腕部位姿,单独的头估当前和未来的深度,再一个头描述当前子任务。预训练之后,用约 150 小时 T800 机器人遥操作数据做后训练,走的是和机器人动作同样的接口。【直引:论文正文】

小贴士:VLA 是视觉-语言-动作模型,把看到的画面和听到的指令直接翻译成机器人动作。action expert 是模型里专门负责出动作的那一部分参数。

📈 五万小时堆出一条曲线

论文给出了一个经验缩放律。把人类预训练数据从五千小时加到五万小时,模型在留出数据上的机器人动作预测误差一路下降;用同样的 T800 示范做后训练,下游真机任务的平均成功率也跟着涨。

对照实验更说明问题:只用重定向后的动作做预训练,和加上人类动作监督相比,后者动作预测误差更低,真机任务成功率更高。多出来的那份人类轨迹实打实提供了信号。

全量预训练加 T800 适配之后,八项单独任务的平均成功率 93.75%,超过 GR00T N1.7。【直引:论文摘要与正文】

对照维度 设置 结果
预训练数据量 5000 小时升到 50000 小时 动作预测误差按经验律下降
监督信号 只用重定向动作 误差较高
监督信号 加原始人类轨迹 误差更低,真机成功率更高
最终成绩 全量加 T800 适配 八项任务平均 93.75%

⚖️ 把限定词留在句子里

93.75% 这个数很亮,读的时候要把它的定语一起带上。这是八项单独任务的平均值,只覆盖这八项,不含组合任务。机器人是 T800,后训练用了约 150 小时遥操作数据。超过 GR00T N1.7 的比较,是在同一批 T800 示范上做的。【直引:论文口径】

数据集那一侧也有边界。五万小时是人类数据,机器人自己的遥操作只有约一百五十小时,差了三百多倍。这套方法的赌注是:人类的全身动作可以大规模迁移到机器人身上,前提是有一个足够好的共享动作专家把它接住。赌注能不能推广到更多本体和更多任务,论文用八项任务给了初步证据,还谈不上定论。【判断:把"数据规模"和"泛化范围"分开看】

还有一条时间背景要记。这条路线上并不只有一家在走。英伟达的 GR00T 2 把预训练燃料摊开时,第一视角人类视频占了大头;这边的 Awaken-Human 把视频和全身动作配成对,补上了人类视频缺身体信号那一块。两家在同一个问题上押了注,切的角度不同。【推论:从同期两条技术路线读出分歧点】

📚 参考来源

  • Awaken-HI: Scaling Humanoid Intelligence with Whole-Body Human Experience,arXiv:2611.26420v1,2026-11-19
  • 该论文 HTML 全文,摘要与正文第 1 节
  • NVIDIA GR00T 2 相关发布与 CoRL 2026 报道
  • 该数据集项目页与配套说明
  • 同类第一视角人类视频预训练工作综述

#具身智能 #人形机器人 #VLA #数据集

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录