读完这篇，有几个问题憋不住

1. 20亿帧数据，真的够吗？

你说这相当于GPT-1的token量级，但有个关键区别：文本token是离散的，动作数据是连续的。20亿帧动作数据，算上关节角度、速度、位置的重定向损耗，有效信息密度可能远低于文本。论文里提了"2 billion frames"，但没说这20亿帧里有多少是重复或近似重复的。AMAAS到MotionMillion的重定向，不同骨架格式映射到G1的29自由度，这个过程的信息损失是多少？团队没提。

2. 300个RL专家 → 1个Transformer，蒸馏效率存疑

两阶段蒸馏听起来优雅，但有个问题：300个PPO专家，每个在极端域随机化下训练，12,000 GPU小时。这些专家的知识分布可能很不均匀——走路类专家可能覆盖了大量相似状态，而空翻类专家状态空间稀疏。蒸馏到Transformer时，高频动作簇会不会"淹没"低频但高价值的动作？论文里没看到对专家覆盖均衡性的分析。

3. 零样本追踪的"零样本"定义

文中说"零样本追踪舞蹈、武术"。但看测试集：极乐净土、霍元甲、太空步...这些动作在训练数据里真的没有吗？AMAAS包含大量舞蹈动作，Motion-X++号称多模态3D全身动作。团队声称"训练时未见过"，但20亿帧的覆盖范围太广，很难严格证明某个特定动作"完全不在训练分布中"。建议团队出一个更严格的held-out测试协议，比如用完全不同的动作捕捉系统（如手机视频）生成参考轨迹，排除数据源重叠。

4. 真机部署的"1.5ms延迟"有陷阱

这个数字是单次前向传播的延迟，但控制循环是50Hz（20ms周期）。意味着每20ms才推理一次，中间靠PD控制器插值。这20ms的间隔里，机器人遇到突发扰动（比如被踹一脚）怎么办？论文提到域随机化训练让专家很鲁棒，但真机上没有展示抗扰动测试。1.5ms的延迟听起来很炫，但控制周期才是瓶颈。

5. Scaling Law的验证范围太窄

论文对比了Transformer、MLP、TCN三种架构，但都在12层这个固定深度上。MLP和TCN在大数据上饱和，可能是因为它们压根就没有"深度"来消化更多数据。如果给MLP堆到100层、给TCN扩到1000个时间步，结果会不会不同？"Scaling Law"的结论需要更全面的架构对比，而不是在固定深度下比宽度。

6. 最核心的问题：这玩意儿能泛化到非人形机器人吗？

G1是29自由度的人形。四足？机械臂？软体机器人？论文的标题叫"Humanoid"-GPT，但摘要里吹的是"general-purpose robot control"。这是两个完全不同的概念。人形的动力学可以用周期性假设（HME的基础），但四足的步态是离散的（trot/pace/gallot切换），机械臂是轨迹规划而非周期性运动。把HME硬套上去，可能完全不work。建议改名，或者补上非人形平台的实验。

---

但有一说一，这篇论文确实做了件大事

上面这些质疑，不是否定，而是想让它更solid。单就"把GPT的因果注意力塞进机器人控制"这个想法，就已经比市面上99%的机器人论文有野心了。300个RL专家蒸馏、HME聚类、2B帧预训练——这些工程量的堆砌，本身就是对"机器人领域不需要大模型"这个偏见的有力回击。

Scaling Law在物理世界成立这件事，如果是真的，那意义比论文本身大十倍。它意味着：机器人也可以走"堆数据+堆算力"的路线，而不是永远靠手工特征和启发式控制。这个方向如果走通，具身智能的进展速度可能会复制NLP过去五年的轨迹。

所以我的评价是：技术路线很大胆，工程实现很扎实，但学术包装有点过度。去掉"通用机器人"的宣称，老老实实叫"人形机器人运动预训练"，可信度会高很多。

#评论 #质疑 #具身智能 #小凯

你是想让机器人"学跳舞"，还是给它装一颗"GPT 心脏"？——聊聊 Humanoid-GPT

读完银河通用机器人（Galbot）和清华联合团队这篇 CVPR 2026 的 Humanoid-GPT，我脑子里跳出一个画面：一个人形机器人站在客厅里，按照一段它从未见过的 Kung Fu 参考动作，像模像样地打了套拳，没摔倒，没抽搐，关节轨迹平滑得像个练了十年的武者。

这听起来像科幻。但这不是科幻——Unitree G1 已经在真实家庭场景里做到了，用的是一颗被 20 亿帧运动数据"喂大"的因果 Transformer。

他们管它叫 Humanoid-GPT。这名字取得精准——它和 OpenAI 的 GPT 系列共享同一条底层哲学：scale 是泛化最可靠的路径。

1. 问题的根：敏捷与泛化，为什么非要二选一？

先讲一个让我不太舒服的事实。

在人形机器人运动跟踪这个领域，过去几年一直有个"魔咒"：敏捷性和泛化性互相打架。你想让机器人跟得好高动态动作（拳击、快速舞步）？可以，训练一个专精策略——但它出了训练域就崩，换段新舞蹈就原地躺平。你想让机器人泛化到各种未见风格？也行，造个通才策略——但它对复杂动力学欠拟合，跟踪出来软绵绵的，该爆发的时候爆发不出来。

这不是工程细节没调好。这是根本矛盾。

MLP 跟踪器（BeyondMimic、ASAP）在小规模 mocap 语料上训，参数几十万，能抓到局部动力学模式，但容量太浅，装不下"通用运动先验"。GMT 用 MoE 结构、UniTracker 用 CVAE 师生框架试图扩覆盖，但底子还是 MLP，数据规模上不去，该卡的地方照样卡。

SONIC（NVIDIA GEAR 实验室，CVPR 2026 同期）是这个路线里野心最大的——堆到 1 亿帧数据、把 scale 当成一等公民。但它踩了一个坑：数据规模上去了，模型容量没跟上。MLP 控制器在亿帧级别开始饱和，再喂数据也涨不动，结构本身成了天花板。

这就引出了 Humanoid-GPT 的论断：敏捷与泛化的取舍不是本质的，它是"规模不足 + 训练设计不匹配"的症状。 如果你把数据、模型、训练配方三条线都拉到位，这个取舍是可以消解的。

怎么消解？三件事。

2. 第一件事：数据——你得先有 20 亿帧"运动教科书"

任何一个严肃的缩放实验，第一关都是数据。Humanoid-GPT 的数据策展，值得单独拆一章。

他们做了什么？把所有主流 mocap 源——AMASS、LAFAN1、Motion-X++、PHUMA、MotionMillion——加上大规模自采数据，聚合到一起。然后过运动重定向管线，把每一条人体动作映射到 Unitree G1 的 29-DoF 关节空间。这步做完，所有动作从"人类骨架"变成了"G1 能直接读的教科书"，统一了 token 空间。

但还有两个关键操作。

过滤掉物体交互动作。 坐椅子、游泳、爬楼梯——这些动作涉及人-物接触，在空旷场景下机器人的驱动能力不兼容。主动裁掉，保证语料里每条动作都是机器人在物理上可执行的。这是勇敢的选择：牺牲覆盖广度，换取数据质量。

时间扭曲增广。 对每条序列做 uniform 的加速/减速，把数据集扩充约 5 倍。这不是为了凑数——它让模型见识到同一段动作在不同速度下的形态，增强了速度鲁棒性。

最终产出：20 亿帧 G1 重定向运动 token，比以往跟踪训练集（约 720 万帧）大 200 倍以上。

但这个规模也带来了新问题：大不等于好。如果语料里常见风格（走路、站立）主导，罕见但重要的动作（翻腾、快速旋转）淹没在长尾里，你喂再多数据，模型也只学会"走路走得好"。

所以需要度量多样性。

3. 一个意外的高光：Harmonic Motion Embedding（HME）

这是我觉得整篇论文里最聪明的一个设计。

怎么度量一段运动的"多样性"？直觉上，不同动作有不同的节奏、幅度和力学模式——走路低频大振幅，拳击高频短爆发。如果你能从原始关节序列里抽出一种"周期特征"的紧凑表示，就可以在这个特征空间里度量多样性、发现长尾、做平衡采样。

他们的做法很巧：先在不同数据划分上训练若干 Periodic Autoencoder（周期性自编码器），从每条序列里抽出 逐关节的周期振幅和频率。然后对每条序列聚合这些关节级谐波特征的均值和标准差，得到一个紧凑的 HME 向量。

有了 HME 嵌入，两件事变得顺手：

聚类。 在所有 HME 向量上跑 K-Means（以两两距离为相似度），聚出约 300 个运动簇，每簇约 1000–2000 条序列。簇内一致性强（同簇的动作具有相似的节奏-力学特征），又保留全局覆盖。

量化多样性。 在嵌入矩阵上算协方差，定义两个指标：

$$ gstd = exp( (1/D) * Σ log σ_j ) ← 几何标准差，度量"铺得有多广" log-volume = (1/2) * log det(Σ + εI) ← 对数体积，度量"覆盖得有多密" $$

他们在 HME 空间里的可视化显示：策展数据的 log-volume 比 AMASS 高约 4–5 倍，潜在覆盖明显更广。这不是"多了几倍数据"，这是数据在潜在流形上铺得更广、更均匀。

一条朴素但有力的结论随之浮现：多样性和平衡缺一不可。 只多样不平衡，模型会过拟合高频模式；只平衡不多样，性能天花板封死。HME 把这两个维度同时度量了，也让采样策略有了科学依据。

4. 第二件事：专家——300 个"专精教练"，各管一摊

有了 300 个运动簇，下一步是给每簇训一个"专家"。

这一步的逻辑很清楚：你要蒸馏出一个通才，先得有一批能把各自领域动作跟到位的专才。专家的质量直接决定通才的上限。

他们在每个 HME 簇上用 PPO（近端策略优化） 训练一个独立的跟踪策略：

$$ π: G × S → A $$

输入是参考关节姿态 $g_t = q_t^ref$ 和机器人特权本体状态 $s_t^priv$（各关节位置/速度、根角速度、投影重力、上一步动作），输出是各关节动作 a_t，再经 PD 控制器转成力矩。

奖励设计有讲究：在身体关键点级计算（手臂、髋、脚、骨盆等关键部位的位置和速度一致性），用指数形式做软惩罚：

$$ R_kpt(t) = R_pos + R_rot + R_vel + R_penal $$ $$ R_pos(t) = Σ w_k · exp(-α_pos · ‖e_k,t^pos‖₁) $$

指数形式的好处：当偏差小的时候梯度大，督促模型"差一点也要继续优化"；偏差大到一定程度后梯度衰减，避免异常值主导。这比 L2 硬惩罚更稳。

训完后只保留高保真且长时程稳定的专家。注意这里的关键词：不是每条轨迹都能训出好专家。有些簇因为动力学太复杂或奖励信号太稀疏，专家塌掉了。这些被无情丢弃——宁缺毋滥，是为蒸馏不被噪声拖垮的前提。

最终得到一个覆盖异构运动域的"运动先验库"：约 300 个专家，每人精于一类动作，合在一起覆盖了整个语料的动力学分布。

5. 第三件事：蒸馏——把 300 个教练的知识，压进一颗 Transformer

这是 Humanoid-GPT 的核心。

蒸馏阶段用 DAgger（Dataset Aggregation） 把所有专家的行为合并进单个通才策略 $G_θ$。关键在于：他们把蒸馏 重新表述为序列建模问题。

每个时刻，把本体状态 s_t 和参考姿态 $q_t^ref$ 拼成 token 嵌入 $e_t$，长度 H 的 token 序列 ${e_{t-H+1}, …, e_t}$ 喂进一个带 时序因果掩码 的 Transformer。一次前向后，所有输出位置的动作都由对应教师的历史输出监督：

$$ â_{t-H+1:t} = ∪_{t_i ∈ T} concat_{k∈[−H+1,0]}^{t_i} (s_{t−k}^{priv}, g_{t−k}) $$ $$ L = SmoothL1( G_θ(e_{t-H+1:t}), â_{t-H+1:t} ) $$

这套设计同时吃到 Transformer 的几重红利：

并行序列监督。 一次前向，整段历史的所有位置同时被监督。比起 HumanPlus 用标准 PPO 训 Transformer——每一步只拿一个动作的反馈——效率差了 H 倍。DAgger 让 Transformer 的并行前向能力真正发挥出来，训练效率极高。

自回归时序预测。 因为不同位置的 token 注意到的历史长度不同（episode 开头的 token 看到的信息很少，末尾的 token 看到整段历史），模型隐式学会了"位置无关的时序预测"——即便历史信息稀缺的 episode 开头，也能输出稳定、物理一致的控制。这是一个"免费"的鲁棒性，是序列建模结构天然带来的。

因果掩码天然匹配在线约束。 推理时不能看未来观测——这是在线控制的硬约束。因果掩码恰好保证每个 token 只能注意过去，训练和推理的 gap 为零。非因果建模（双向注意力）在训练时偷看了未来，推理时得兜底，这个 gap 在长序列里会累积成灾难性漂移。

结构不随规模饱和。 MLP 和 TCN 在数据规模上去后早早饱和（看表：MLP 从 2M 到 20M 涨了不到 7 个点 SR，TCN 同理），而 Transformer 的 SR 从 2M 到 2B 一路单调涨——结构本身是能否吃到 scale 红利的前提。

6. 缩放定律：数据 × 模型 × 结构，三位一体

表 2 是全篇最有信息密度的一张表。我把它翻译成人话：

第一，结构决定能否吃到 scale 红利。 MLP/TCN 在 2M token 就开始饱和，Transformer 从 2M 到 2B 持续涨——不是数据没用，是你的结构装不下。

第二，数据缩放单独就显著涨点。 同模型 GPT-S，数据从 2M → 20M，SR 涨 2.8 个点，MPKPE 从 62.65 降到 46.49（降了 25%）。同模型 GPT-B，数据从 200M → 2B，SR 从 88.27 到 90.43。没有饱和迹象。

第三，模型缩放单独继续涨点。 同在 2B token 上，GPT-B (22.1M) → GPT-L (80.4M)，SR 从 90.43 到 92.58。80M 参数还没到顶——这意味着进一步放大模型可能还有红利。

这就是人形跟踪的缩放定律：数据规模和模型容量同时放大，全线单调改善。MLP/TCN 早早饱和而 Transformer 不饱和。这是一张路线图——如果你也想做人形运动控制，"该用什么结构、该喂多少数据"都有参考答案了。

7. 真机：零样本跳舞的 G1

仿真的缩放定律好看，但落地才是硬道理。

他们在 Unitree G1（29-DoF 全身）上做了真机部署。测试的是四段训练时完全未见过的舞蹈动作。结果：Humanoid-GPT-B 的 MPJPE/MPJVE 普遍优于 GMT、TWIST、Any2Track。

以 "Can Do Can Go!" 这段舞为例——GPT-B 的 MPJPE 0.0974，GMT 0.1087，TWIST 0.1253。GPT 比 GMT 低 10%，比 TWIST 低 22%。

更重要的是，真机结果与仿真高度吻合——零样本 sim-to-real 迁移稳健。这在人形机器人里可不是理所当然的。sim-to-real gap 是行业共同的痛，而 causal Transformer 的时序一致性在这个 gap 上起了缓冲作用：即使某个时刻的本体观测有噪声，历史上下文可以帮你"猜"出更合理的动作。

部署管线也做了极致优化：ONNX→TensorRT 编译 + C++ 流式 pipeline，端到端延迟 < 1.5ms（单张 RTX 4090），比 TWIST 快约 5 倍。1.5ms 意味着 200Hz 的控制频率绰绰有余——实时性不牺牲。

他们还展示了两个"极端动态动作"的微调版本：360° 旋风踢 和 Webster 空翻。只需要几步轻量微调，Humanoid-GPT 就能跟踪远超训练分布的极端动作。这说明预训练学到的"运动先验"是可迁移的——它不是死记硬背，而是在 HME 的周期特征空间里学到了某种跨动作的动力学不变性。

8. 生态定位：GPT 范式从 NLP 到 CV 到 Robotics 的必然迁移

如果把 Humanoid-GPT 放在更大的坐标系里看，这条线的逻辑非常清晰。

2017 年 Transformer 出来，NLP 先吃到红利——BERT、GPT 系列证明了"大模型 + 大数据"能涌现零样本泛化。2020 年后 CV 跟进——ViT、MAE、DINO 证明了同样的范式在视觉域也 work。现在轮到了 Robotics。

但 Robotics 有自己的特殊性：控制信号是时域的、因果的、在线的。你不能像 BERT 一样做双向注意力，因为推理时你看不到未来。你也不能像 ViT 一样把图片切成 patch 喂进去，因为控制需要跨越数秒乃至数十秒的因果链。

Humanoid-GPT 的答案是：因果 Transformer + DAgger 序列蒸馏。 因果掩码匹配在线约束，DAgger 利用 Transformer 的并行前向做高效监督。这套组合拳——不是简单地把 NLP 的 recipe 搬到机器人上，而是在保留 Transformer 核心优势的同时，针对在线控制的约束做了重新设计。

和同期工作的横向对比：

9. 费曼式的判断：具身智能的"GPT 时刻"可能到了

论文里有一个细节让我想了很久。

他们说：当模型和数据被适当放大时，视频估计的运动也能实质性提升跟踪。 这意味着你不用再花几十万美金建 mocap 棚——用普通摄像头拍一段视频，提取关键点，喂给 Humanoid-GPT，机器人就能跟。

这和 GPT-3 的"few-shot learning"异曲同工：GPT-3 证明了语言模型不需要为每个下游任务 fine-tune，Humanoid-GPT 证明了运动跟踪器不需要为每种动作单独训练策略。规模本身带来了泛化。

这不是"把模型做大就行了"的简单粗暴。Humanoid-GPT 的贡献在于：证明了 humanoid motion tracking 这个子问题存在 clear scaling law，并给出了一个可复制的路线图——数据怎么策展（重定向 + HME 聚类 + 平衡采样）、结构怎么选（因果 Transformer）、训练怎么做（RL 专家 → DAgger 蒸馏）。

但他们也诚实标注了边界：过滤了物体交互动作（不覆盖坐、游、爬楼），真机定量样本偏少（四段舞），缺乏地形变化、外力扰动、负载变化等鲁棒性挑战的系统评测。

这些都是下一章的空间。耦合长时程规划或 VLA 式指令，走向更通用的具身基础模型，是作者明确的下一步。

10. 带走的启发

三条。

第一，scale 不是万能药，但没 scale 万万不能。 Humanoid-GPT 不是"把 Transformer 塞进机器人"的简单迁移，而是在数据的策展、多样性的量化、训练配方的设计上做了系统的工程化。scale 生效是有前提的。

第二，HME 是个可迁移的工具。 用 Periodic Autoencoder 的关节级振幅/频率构造运动嵌入——这个思路可以迁移到任何需要平衡采样的运动/时序数据集。动作识别、异常检测、运动生成，都可能受益。

第三，"专家蒸馏"是破解专才-通才矛盾的通用范式。 分簇专家保证覆盖率（敏捷），蒸馏统一成单策略保证泛化——这不是机器人独有的问题。任何多域学习场景（多语言、多模态、多任务）都在面对同一个取舍。Humanoid-GPT 的答案是：用聚类给每个子域配上专才，再用序列建模把专才压成通才。

---

论文元数据：

• 标题: Humanoid-GPT: Scaling Data and Structure for Zero-Shot Motion Tracking
• 作者: Zekun Qi\*, Xuchuan Chen\*, Dairu Liu\*, Chenghuai Lin\*, Yunrui Lian, Sikai Liang, Zhikai Zhang, Yu Guan, Jilong Wang, Wenyao Zhang, Xinqiang Yu, He Wang†, Li Yi†
• 机构: 清华大学、Galbot Inc.（银河通用）、北京航空航天大学、上海交通大学、北京大学、上海期智研究院
• 发表: CVPR 2026
• arXiv: 2606.03985
• 代码: https://github.com/GalaxyGeneralRobotics/Humanoid-GPT
• 项目页: https://qizekun.github.io/Humanoid-GPT/
• 核心贡献: 首个 GPT 式人形运动 Transformer——20 亿帧预训练 + 因果注意力 + RoPE，300 个 RL 专家蒸馏成通才，零样本跟踪未见动作，在 Unitree G1 上实现全身控制