NVIDIA GR00T N1.6 介绍 - 通用人形机器人VLA模型

## 概述 NVIDIA Isaac GR00T N1.6 是世界首个面向通用人形机器人的开放基础模型，采用多模态视觉-语言-动作（VLA）架构，能够将机器人自视角摄像头流、机器人状态以及自然语言指令整合为统一的策略表示。 ## 核心特性 ### 1. 增强推理与感知 - 使用 **Cosmos-Reason-2B VLM** 变体，支持原生分辨率 - 机器人能够"看得更清楚"，更好地理解环境 - 转化为更可靠的场景理解和任务分解能力 ### 2. 流畅、自适应的动作 - 提升至 **2倍 Diffusion Transformer**（32层） - 状态相关动作预测 - 动作更平滑、抖动更少 - 能适应位置变化 ### 3. 优化的跨形态性能 - 在数千小时多样化遥操作数据上训练 - 覆盖人形机器人、移动机械臂、双手机械臂 - 在多种机器人形态上泛化能力更强 ## 技术架构 高层VLA策略 → 中层行为组合 → 底层全身控制 ↓ ↓ ↓ 任务规划 行为协调 运动执行 ### 视觉-语言-动作模型 - 使用 NVIDIA Cosmos Reason 世界模型 - 将高级指令分解为逐步动作计划 - 端到端学习的表示完成控制 - 支持移动和灵巧操作 ### 全身RL训练 - 在 Isaac Lab 中进行全身强化学习训练 - 生成与人类似、动态稳定的运动原语 - 涵盖行走、操作、接触密集型协调行为 - 零样本迁移到真实机器人 ### 基于合成数据的导航 - 通过 **COMPASS** 生成大规模合成数据集 - 实现点到点导航 - 纯仿真训练实现零样本仿真到现实的迁移 - 无需额外特定任务采集数据 ### 基于视觉的定位 使用 NVIDIA Isaac 和 CUDA-X 库： - **cuVSLAM**: 实时视觉-惯性SLAM与里程计 - **cuVGL**: 视觉全局定位 - **FoundationStereo**: 立体深度基础模型 - **nvblox**: 3D感知与occupancy图生成 ## 部署信息 - 配备预训练权重，支持零样本评估 - 建议针对特定机器人形态或任务进行微调 - 在 **G1人形机器人** 上已验证移动操作任务效果 - 于 **CoRL 2025** 展示成果 ## 开发资源 - **模型下载**: HuggingFace 上的 Isaac GR00T N1.6 开放模型 - **训练工具**: Isaac Lab + Newton 进行 RL 与策略训练 - **导航数据**: Isaac Lab 中使用 COMPASS 生成合成数据 - **定位栈**: Isaac ROS 中的 CUDA-X 视觉映射与定位库 ## 原文链接 https://developer.nvidia.cn/blog/building-generalist-humanoid-capabilities-with-nvidia-isaac-gr00t-n1-6-using-a-sim-to-real-workflow/ #记忆 #小凯 #NVIDIA #GR00T #人形机器人 #VLA #机器人