ExMR: Extremity Motion Refinement for Monocular Human Motion Capture

📄 arXiv: 2610.26213v1 📥 PDF

作者: Tom Wehrbein, Bodo Rosenhahn

分类: cs.CV

发布日期: 2026-10-19

备注: Extended version of the 3DV 2026 paper "Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture". 17 pages main paper + 4 pages supplementary material. Project page and video: https://twehrbein.github.io/exmr-website/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ExMR以解决单目视频中手脚运动捕捉问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 单目视频 运动捕捉 手脚重建 深度学习 计算机视觉 运动分析 动画制作

📋 核心要点

  1. 现有方法在单目视频中恢复手脚运动时，常常依赖全身表示，未能充分利用局部特征，导致重建精度不足。
  2. 本文提出ExMR系统，通过FootMR和HandMR模块分别精细化脚踝和手部关节的运动，充分利用局部证据进行运动捕捉。
  3. 实验结果显示，ExMR在MOYO数据集上相较于最强竞争对手，手部每顶点误差降低19%，踝关节角度误差降低18%。

📝 摘要（中文）

详细的手脚关节运动对于动画和运动分析至关重要，但从单目视频中恢复这些细节仍然具有挑战性。现有方法通常通过共享全身表示推断手部运动，未能充分利用局部证据。本文提出的Foot Motion Refinement（FootMR）模块通过脚关键点精细化踝关节旋转，显著提升重建效果。我们进一步扩展至手部，设计了Hand Motion Refinement（HandMR）模块，结合预训练手部重建模型的图像特征与初始手臂和手部旋转，精细化肘部、腕部和手指的运动。最终，FootMR和HandMR集成到ExMR系统中，从单目视频中重建3D身体、手和脚的运动。实验结果表明，ExMR在手脚重建上超越了现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决从单目视频中恢复手脚运动的难题，现有方法往往忽视局部证据，导致重建精度不足。

核心思路：论文提出FootMR和HandMR模块，分别针对脚踝和手部关节进行精细化处理，通过结合局部关键点和图像特征来提升重建质量。

技术框架：ExMR系统首先通过初步的时间估计器预测全身运动，然后FootMR和HandMR模块分别对局部关节进行精细化预测，最终输出3D运动数据。

关键创新：FootMR和HandMR模块的设计是本研究的核心创新，能够有效利用局部证据，显著提升手脚运动的重建精度，与传统方法相比具有本质区别。

关键设计：在FootMR中，使用脚关键点来精细化踝关节旋转；在HandMR中，结合预训练模型的图像特征与初始旋转，优化肘部、腕部和手指的运动，确保各个关节的运动更加准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ExMR在MOYO数据集上的实验结果显示，手部每顶点误差降低19%，踝关节角度误差降低18%，明显优于现有最先进的方法，展示了其在手脚运动重建中的卓越性能。

🎯 应用场景

该研究在动画制作、虚拟现实和运动分析等领域具有广泛的应用潜力。通过精确捕捉手脚运动，能够提升虚拟角色的表现力和真实感，为相关行业提供更高质量的运动数据支持。

📄 摘要（原文）

Detailed hand and foot articulation is important for animation and motion analysis, yet remains challenging to recover from monocular video. Recent expressive video methods infer hand articulation from shared whole-body representations. Our conference work suggests that this underexploits local evidence: the Foot Motion Refinement (FootMR) module refines ankle rotations from foot keypoints, improving reconstruction even when the initial estimator receives the same keypoints. We extend this principle to hands with the Hand Motion Refinement (HandMR) module. Because 2D finger keypoints are often missing or unreliable, HandMR combines image features of a pretrained hand reconstruction model with initial arm and hand rotations to refine elbows, wrists, and fingers. We integrate FootMR and HandMR into ExMR (Extremity Motion Refinement), a system for reconstructing 3D body, hand, and foot motion from monocular video. An initial temporal estimator predicts whole-body motion, after which both refiners revisit local evidence to predict residual joint rotations. Experiments on ARCTIC, MOYO, RICH, and MOOF show that ExMR outperforms state-of-the-art methods in hand and foot reconstruction, reducing hand per-vertex error and ankle joint angle error on MOYO by 19% and 18%, respectively, relative to the strongest competitor. Code will be made available for research purposes. Project page: https://twehrbein.github.io/exmr-website/