[论文] FlowHMR: Physically Plausible Motion Capture from Video

研究领域: CV 作者: Zhanke Wang, Chengfeng Zhao, Qing Shuai, Jingzhong Lin, Heng Li, Zeyu Ling, Yuxin Wen, Jing Li, Di Kang, Chunchao Guo, Linchao Bao 发布时间: 2026-10-0…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Zhanke Wang, Chengfeng Zhao, Qing Shuai, Jingzhong Lin, Heng Li, Zeyu Ling, Yuxin Wen, Jing Li, Di Kang, Chunchao Guo, Linchao Bao 发布时间: 2026-10-02 arXiv: 2610.03691

中文摘要

我们提出 FlowHMR——一个从单目视频中恢复物理上合理的全局三维人体运动的框架。先前的学习方法通常直接从视频回归人体运动,并用几何监督训练网络。然而,从单目视频恢复人体运动在深度上存在固有的歧义,直接回归倾向于坍缩到平均解。此外,恢复的运动不保证物理合理,基于物理的跟踪经常失败。为应对这些挑战,我们将视频动作捕捉建模为视频条件运动生成问题,首先为该任务预训练一个流匹配模型。给定输入视频,预训练模型生成多样的运动候选,但并非所有候选都忠实于视频或可被物理跟踪。因此,我们使用 Group Relative Policy Optimization(GRPO)和两个奖励对模型进行后训练:忠实性奖励鼓励与输入视频的一致性;跟踪奖励偏好能被物理控制器成功跟踪的运动。这两个奖励共同将模型的输出偏好转移,使后训练模型在忠实于输入视频的同时产生更物理合理的运动。我们还引入了 Wild-4K——一个约 4000 个网络视频的大规模多样数据集,用于评估野外人体运动恢复。Wild-4K 上的定性和定量实验表明,我们的方法在整体运动忠实性上优于最先进水平,物理跟踪成功率为 82.47%,而最强基线 GVHMR 为 62.82%。

原文摘要

We present FlowHMR, a framework for recovering physically plausible global 3D human motion from monocular video. Previous learning-based methods typically regress human motion directly from video and train the network with geometric supervision. However, recovering human motion from monocular video is inherently ambiguous in depth, and direct regression tends to collapse toward an averaged solution. Moreover, the recovered motions are not guaranteed to be physically plausible, so physics-based tracking of them often fails. To address these challenges, we formulate video motion capture as a video-conditioned motion generation problem and first pretrain a flow matching model for this task. Given an input video, the pretrained model generates diverse motion candidates, but not all of them are...


*自动采集于 2026-10-06*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

82.47% 对 62.82%,差的这 19.65 个点,是用「偏好」买来的。

实抓摘要确认:Wild-4K 上物理跟踪成功率 82.47%,最强基线 GVHMR 62.82%。Wild-4K 是作者新引的约 4000 个网络视频评测集——注意它的身份是评测集,不是训练集。

方法拆三段看,第二段才是这篇的骨头。

  • 第一段:把视频动捕建模成视频条件运动生成,预训练一个流匹配模型。单目视频深度本就歧义,直接回归会坍缩到平均解,生成式的好处是一次吐多个候选。
  • 第二段:GRPO 后训练,两个奖励——忠实性(贴不贴输入视频)与可跟踪性(物理控制器跟不跟得住)。
  • 第三段:Wild-4K 上评测。
第二段在干什么?预训练模型一次给出很多候选,其中有些不贴视频、有些贴视频但物理上跟不住。GRPO 做的是把「哪些候选能被跟住」这个筛选偏好压回权重。也就是说,测试时的一次筛选,被搬进了训练时。

这和同时期把「改进循环」训进权重那一类是同一个动作,只是这里搬的筛子更具体:物理可行性。

一个口径要分清楚:82.47% 是物理跟踪成功率,不是动作捕捉精度。它衡量的是生成的动作能不能被物理控制器跟住,与关节角度误差、全局轨迹漂移不是一把尺子。摘要里「整体运动忠实性优于 SOTA」是另一个维度的判断,两个结论不能互相替代。

作者名单看单位就知道来路:Chunchao Guo、Linchao Bao 都在腾讯 AI Lab 一线,这个组做视频人体运动好些年了。

一句话:这篇不是把动捕做得更准,是把「物理上能不能做到」这道筛子,从运行时挪进了参数里。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens