想象一下这个场景：一个人戴着眼镜在网球场打球，身上贴着几个硬币大小的传感器。几周后，一台 Unitree G1 人形机器人在实验室里复现了她的反手击球动作——不是通过远程操控，而是通过强化学习策略，从零开始学会了模仿她的运动轨迹。
这不是科幻。这是宾夕法尼亚大学 GRASP 实验室 2026 年 4 月发表的系统 RoSHI（Robot-oriented Suit for Human data In-the-wild）做到的事。
问题：人形机器人的数据饥荒
人形机器人领域有一个尴尬的悖论：硬件越来越强，但策略学习越来越依赖高质量的人类运动数据。获取这些数据的方法大致分两派。
第一派是光学动捕（OptiTrack、Vicon）。精度高，但必须在装满摄像头的实验室里进行，被试者不能离开限定区域，设备成本数万美元起步。
第二派是视觉重建。用摄像头从外部观察人体姿态，但容易被遮挡、视野有限，而且需要架设第三人称视角的相机——在野外根本不现实。
近年来兴起的 egocentric（第一人称）方案，比如 Meta 的 Project Aria 眼镜，能从佩戴者视角重建身体姿态，但一旦手部遮挡身体、或者运动太快产生模糊，重建质量就急剧下降。
RoSHI 的思路是：为什么不把 IMU（惯性测量单元）和 egocentric 视觉融合起来？
RoSHI 的硬件：极简主义
RoSHI 的硬件清单短得惊人：
- 1 副 Project Aria 眼镜（提供 egocentric 视觉 + SLAM 定位）
- 5 个 SlimeVR IMU 传感器（每个约 20 美元，贴在小臂、大臂、小腿、大腿上）
- 1 个 AprilTag 标签（贴在胸口，用于 IMU 和视觉坐标系的对齐）
全部硬件成本不到 1000 美元（不含 Aria 眼镜），佩戴时间不到 2 分钟。对比之下，Xsens MVN 动捕服要 12000 美元，OptiTrack 系统要 25000 美元以上。
关键创新在于软件——如何把这两种截然不同的传感器数据融合成一个连贯的全身姿态。
无标定盒的对齐魔法
传统 IMU 动捕系统有一个烦人的步骤：标定盒（calibration box）。被试者必须站在一个已知尺寸的盒子里，摆出 T-pose，让系统建立 IMU 坐标系和身体坐标系的对应关系。这个过程耗时且不自然。
RoSHI 用 AprilTag 干掉了标定盒。AprilTag 是一种类似二维码的视觉基准标记，Aria 眼镜可以轻松识别它的位置和朝向。通过让 IMU 坐标系和 AprilTag 坐标系做一次 barycenter（质心）对齐，RoSHI 在几秒钟内完成了 on-body registration（身体上的传感器到骨骼的映射）和 cross-sensor world alignment（多个传感器到共享世界坐标系的对齐）。
数学上，这是一个 SO(3) 上的优化问题。对每个 IMU，找到旋转矩阵 R 使得 IMU 测量的骨骼方向和 AprilTag 给出的骨骼方向之间的测地线距离（geodesic distance）最小。测地线距离 d_g(R1, R2) = ||log(R1^T R2)||，这是 SO(3) 上的自然度量。
这个步骤的意义不仅是省了标定盒——它意味着你可以在户外随时重新校准。打完网球发现传感器松了？扶一下，几秒钟重新对齐，继续采集。
融合：IMU 补视觉的盲区，视觉补 IMU 的漂移
RoSHI 的融合策略不是简单的卡尔曼滤波，而是一个 test-time optimization（测试时优化）流程。
IMU 的优势是：不受遮挡影响，高速运动下依然准确。劣势是：长时间累积漂移，而且无法直接观测某些关节自由度（比如肩胛骨的滑动）。
EgoAllo（Aria 眼镜的 egocentric 姿态估计）的优势是：全局定位靠 SLAM，没有累积漂移；能看到身体整体形状。劣势是：手遮挡身体时丢失关键关节，快速运动时模糊导致重建失败。
RoSHI 的做法是：用 EgoAllo 估计根骨盆的全局轨迹（因为 SLAM 的全局定位最可靠），用 IMU 提供四肢的局部关节角度（因为 IMU 不受遮挡影响），然后通过 test-time optimization 让两者在重叠区域一致。
具体来说，优化目标是最小化三个误差：IMU 测量的关节角度和预测关节角度的差异、EgoAllo 估计的根位姿和预测根位姿的差异、以及一个 pose prior（来自 AMASS 数据集的 SMPL-X 模型）确保预测的姿态在物理上合理。
数据：三个难度递进的数据集
研究团队采集了 11 个运动序列，分为三个数据集：
Dataset 1（原地运动）：走路、慢跑、拉伸、拳击、鞠躬、挥手、开合跳、深蹲、单腿站立、捡箱子。视觉条件好，主要测试身体重建质量。
Dataset 2（有位移）：走动打招呼、捡东西走一圈、来回走跑、跳来跳去。考验全局定位和视野丢失恢复。
Dataset 3（高强度运动）：滑步、网球、投接球。考验 IMU 的高速捕捉能力和多模态同步。
用 OptiTrack 作为 ground truth，评估指标是 MPJPE（平均关节位置误差，cm）和 JAE（关节角度误差，度）。
结果：以小博大的精度
RoSHI 在三个数据集上的 MPJPE 分别是 9.6、9.9、10.3 cm，全面优于所有 egocentric 基线：
| 方法 | Dataset 1 MPJPE | Dataset 2 MPJPE | Dataset 3 MPJPE |
|---|
| SAM3D（外部相机） | 10.3 | 10.5 | 21.6 |
| IMU-only | 16.7 | 18.8 | 16.1 |
| IMU + EgoAllo root | 12.7 | 11.9 | 12.5 |
| EgoAllo | 10.6 | 10.0 | 11.7 |
| RoSHI | 9.6 | 9.9 | 10.3 |
注意 SAM3D 用了外部相机，不算公平比较——但 RoSHI 连它都赢了。而且 SAM3D 在 Dataset 2 的 recall 只有 50%（被试者走出视野就丢失），RoSHI 是 100%。
更关键的是 JAE（关节角度误差）在 Dataset 3 的表现。EgoAllo 在高强度运动下 JAE 飙到 17.5 度（因为运动模糊），而 RoSHI 保持在 15.6 度。IMU-only 反而最好（8.9 度），因为它不受视觉模糊影响——但它的 MPJPE 最差，因为没有全局定位。
RoSHI 的价值在于：它不是在单一指标上做到最好，而是在所有指标上都做到"足够好"，没有短板。
从数据到机器人：DeepMimic + BeyondMimic
采集数据不是目的，让机器人学会这些动作才是。
RoSHI 的数据通过 PyRoki（一个机器人运动学优化工具包）retargeting 到 Unitree G1 人形机器人上。retargeting 的本质是：把人类的关节角度映射到机器人的关节角度，同时尊重机器人的物理约束（关节限位、碰撞避免、接触一致性）。
然后，用 DeepMimic 的框架训练强化学习策略。每个策略以 egocentric SLAM 估计的全局轨迹为条件，奖励函数包括关节角度跟踪、末端执行器位姿跟踪、根位姿跟踪、接触一致性。训练环境是 BeyondMimic。
结果：G1 机器人成功学会了走路、慢跑、跳跃、鞠躬、挥手，甚至网球反手挥拍。一个有趣的观察是：机器人往往比人类演示者动得更快——因为它需要精确匹配人类的前进轨迹，而它的步态模式需要更精准的时机控制，导致加速度比原始演示更大。这把运动推到了机器人的物理极限附近。
代码与硬件：完全开源
RoSHI 的代码和硬件设计完全开源：
- MoCap 代码：https://github.com/Jirl-upenn/RoSHI-MoCap —— IMU + Aria 融合的全身姿态估计
- 硬件设计：https://github.com/Jirl-upenn/RoSHI-Hardware —— 传感器固定件和佩戴方案
SlimeVR IMU 本身就是开源硬件（ESP32 + BMI270 IMU），单个成本约 20 美元。Project Aria 需要向 Meta 申请研究者访问权限。
局限与未来
RoSHI 的主要局限在 IMU 的不可观测自由度。肩胛骨到骨盆之间的关节链（特别是脊柱旋转）没有直接传感器观测，在模糊运动下可能产生扭曲伪影。多个约束方向冲突时，优化器可能把不受约束的关节扭到不自然的位置。
但作为一个不到 1000 美元、能在户外采集、直接用于人形机器人训练的系统，RoSHI 已经跨越了一个关键门槛：高质量运动数据的采集不再是富人俱乐部。
当任何实验室都能用一副眼镜和五个传感器采集训练数据时，人形机器人的策略学习会从"实验室特技"走向"野外泛化"。RoSHI 不是终点，但它可能是起跑线。
---
论文：arXiv:2604.07331
代码：https://github.com/Jirl-upenn/RoSHI-MoCap
硬件：https://github.com/Jirl-upenn/RoSHI-Hardware
数据集：11 个运动序列，3 个难度递进，含 OptiTrack ground truth