FlowHMR: Physically Plausible Motion Capture from Video

📄 arXiv: 2610.03691v1 📥 PDF

作者: Zhanke Wang, Chengfeng Zhao, Qing Shuai, Jingzhong Lin, Heng Li, Zeyu Ling, Yuxin Wen, Jing Li, Di Kang, Chunchao Guo, Linchao Bao

分类: cs.CV

发布日期: 2026-10-02

备注: Project page: https://flowhmr.github.io/ Code: https://github.com/flowhmr/flowhmr

💡 一句话要点

提出FlowHMR以解决单目视频中人类运动捕捉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 单目视频 人类运动捕捉 物理合理性 流匹配模型 群体相对策略优化 Wild-4K数据集 运动生成

📋 核心要点

  1. 现有方法在从单目视频恢复人类运动时存在深度模糊和物理合理性不足的问题，导致结果不准确。
  2. 论文提出将视频运动捕捉视为视频条件下的运动生成问题，通过预训练流匹配模型生成多样运动候选，并利用GRPO进行后训练。
  3. 在Wild-4K数据集上的实验表明，FlowHMR在运动忠实度和物理跟踪成功率上均优于现有最强基线GVHMR，成功率达到82.47%。

📝 摘要（中文）

我们提出了FlowHMR，一个从单目视频中恢复物理上合理的全球3D人类运动的框架。以往的学习方法通常直接从视频回归人类运动，并通过几何监督训练网络。然而，从单目视频恢复人类运动在深度上固有模糊，直接回归往往导致结果趋向平均解。此外，恢复的运动并不一定物理上合理，因此基于物理的跟踪常常失败。为了解决这些挑战，我们将视频运动捕捉形式化为视频条件下的运动生成问题，并首次预训练了一个流匹配模型。该模型生成多样的运动候选，但并非所有候选都忠实于视频或可被物理跟踪。我们因此使用群体相对策略优化（GRPO）进行后训练，结合忠实度奖励和跟踪奖励，确保模型输出既忠实于输入视频，又生成更物理合理的运动。我们还引入了Wild-4K，一个包含约4000个互联网视频的大型多样化数据集，用于评估野外的人类运动恢复。

🔬 方法详解

问题定义：论文要解决从单目视频中恢复人类运动的模糊性和物理合理性不足的问题。现有方法直接回归运动，容易导致结果趋向平均解，且缺乏物理可追踪性。

核心思路：论文的核心思路是将视频运动捕捉转化为视频条件下的运动生成问题，首先预训练流匹配模型生成多样的运动候选，然后通过后训练优化运动的忠实度和物理合理性。

技术框架：整体架构包括预训练阶段和后训练阶段。预训练阶段使用流匹配模型生成运动候选，后训练阶段采用群体相对策略优化（GRPO）结合忠实度和跟踪奖励进行优化。

关键创新：最重要的技术创新点在于将运动捕捉问题重新定义为运动生成问题，并通过GRPO优化模型输出，使得生成的运动既忠实于视频又物理合理。这与现有方法的直接回归方式有本质区别。

关键设计：在后训练中，忠实度奖励确保生成的运动与输入视频一致，跟踪奖励则鼓励生成的运动能够被物理控制器成功跟踪。模型的设计考虑了多样性和物理合理性，确保输出的运动候选能够在实际应用中有效使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Wild-4K数据集上的实验结果显示，FlowHMR在运动忠实度和物理跟踪成功率上均优于现有最强基线GVHMR，成功率达到82.47%，相比之下，GVHMR的成功率为62.82%。这一显著提升表明了该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、动画制作和人机交互等。通过提供更准确和物理合理的人类运动捕捉，FlowHMR能够提升这些领域中的用户体验和交互质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present FlowHMR, a framework for recovering physically plausible global 3D human motion from monocular video. Previous learning-based methods typically regress human motion directly from video and train the network with geometric supervision. However, recovering human motion from monocular video is inherently ambiguous in depth, and direct regression tends to collapse toward an averaged solution. Moreover, the recovered motions are not guaranteed to be physically plausible, so physics-based tracking of them often fails. To address these challenges, we formulate video motion capture as a video-conditioned motion generation problem and first pretrain a flow matching model for this task. Given an input video, the pretrained model generates diverse motion candidates, but not all of them are faithful to the video or physically trackable. We therefore post-train the model using Group Relative Policy Optimization (GRPO) with two rewards. A fidelity reward encourages consistency with the input video. A tracking reward favors motions that a physics-based controller can track successfully. Together, these rewards shift the model's output preference, so the post-trained model stays faithful to the input video while producing more physically plausible motion. We further introduce Wild-4K, a large and diverse dataset of about 4K internet videos, for evaluating human motion recovery in the wild. Qualitative and quantitative experiments on Wild-4K show that our method outperforms state-of-the-art methods in overall motion fidelity and achieves a physical tracking success rate of 82.47%, compared with 62.82% for the strongest baseline, GVHMR.