DirtyMoCap: Robust Motion Capture from Unconstrained Markers

📄 arXiv: 2609.19927v1 📥 PDF

作者: Long Wang, Shuting Zhao, Shen Yan, Siyuan Yu, Xiaoben Li, Zeyu Cai, Yumeng Hou, Yuliang Xiu

分类: cs.CV

发布日期: 2026-09-17

备注: Homepage: https://wanglongzju.github.io/DirtyMoCap-Project-Page

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DirtyMoCap以解决无约束标记的运动捕捉问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动捕捉 无约束标记 鲁棒性 深度学习 SMPL-H模型 高效求解器 虚拟现实 动画制作

📋 核心要点

  1. 现有的光学运动捕捉方法依赖于严格的标记布局和干净的轨迹，导致在实际应用中受到限制。
  2. DirtyMoCap通过将无序的标记观测映射到固定的代理锚点，提供了一种无标记布局的鲁棒框架。
  3. 实验结果显示，DirtyMoCap在关节和顶点重建精度上均优于现有方法，并且速度提升显著。

📝 摘要（中文）

光学运动捕捉技术能够提供高保真的人类运动数据，但其对严格标记布局和干净轨迹的依赖限制了其在现实世界中的应用。DirtyMoCap是一个鲁棒的、无标记布局的框架，旨在将无序的标记观测映射到固定的“代理锚点”，这些锚点包括骨骼关节和身体表面点，作为稳定的中间表示。通过使用递归滑动窗口架构初始化和跟踪这些锚点，并利用自定义的可微分Gauss-Newton求解器拟合SMPL-H模型，DirtyMoCap能够从跟踪的锚点中恢复全身姿态、平移和形状。实验表明，DirtyMoCap在各种噪声标记配置中表现出色，且在关节和顶点重建精度上超越了现有的配置特定基线，同时其自定义CUDA求解器在速度上比标准PyTorch实现快了100倍。

🔬 方法详解

问题定义：本论文旨在解决光学运动捕捉中无约束标记导致的稀疏、噪声和无序点云的问题。现有方法对标记布局的严格要求使其在实际应用中受到限制。

核心思路：DirtyMoCap的核心思路是将无序的标记观测映射到一组固定的“代理锚点”，这些锚点包括骨骼关节和身体表面点，作为稳定的中间表示。这种设计使得系统能够在不依赖于特定标记布局的情况下进行运动捕捉。

技术框架：DirtyMoCap的整体架构包括两个主要模块：首先，使用递归滑动窗口架构初始化和跟踪代理锚点；其次，利用自定义的可微分Gauss-Newton求解器将SMPL-H模型拟合到跟踪的锚点，以恢复全身姿态、平移和形状。

关键创新：最重要的技术创新在于通过显式推导几何残差，求解器能够端到端地学习自适应观测置信度、平滑性和先验权重，从而动态适应输入数据的可靠性。这一方法与现有的配置特定方法本质上不同，具有更强的通用性。

关键设计：在关键设计方面，DirtyMoCap采用了自定义的损失函数来优化锚点的跟踪精度，并通过CUDA实现了高效的求解过程，使得整体速度提升达到100倍。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DirtyMoCap在关节和顶点重建精度上均超越了现有的配置特定基线，且在速度上相比标准PyTorch实现提升了100倍。这些结果证明了DirtyMoCap在处理多样化、噪声标记配置方面的有效性和优越性。

🎯 应用场景

DirtyMoCap的研究成果在多个领域具有潜在应用价值，包括虚拟现实、动画制作和运动分析等。其鲁棒性和高效性使得在复杂环境下的运动捕捉成为可能，未来可广泛应用于体育训练、游戏开发和影视特效等场景。

📄 摘要（原文）

Optical motion capture delivers high-fidelity human motion, but its reliance on strict marker layouts and clean trajectories severely limits its real-world applicability. In practice, tracking systems frequently output unconstrained markers: sparse, noisy, and unordered point clouds with unknown or varying configurations. To bridge the gap between corrupted raw markers and parametric human models, we introduce DirtyMoCap, a robust, marker-layout-free framework. Our core insight is to map unordered marker observations to a fixed set of "proxy anchors" comprising skeletal joints and body surface points, which serve as a stable intermediate representation. We first initialize and track these anchors over long sequences using a recurrent sliding-window architecture. Then, a custom differentiable Gauss-Newton solver fits the SMPL-H model to the tracked anchors to recover full-body pose, translation, and shape. By explicitly deriving geometric residuals, our solver learns adaptive observation confidence, smoothness, and prior weights end-to-end, adapting dynamically to the reliability of the input data. Extensive experiments on diverse, noisy marker configurations demonstrate that DirtyMoCap successfully generalizes across arbitrary layouts using only a single trained model. It consistently outperforms state-of-the-art configuration-specific baselines in both joint and vertex reconstruction accuracy, while our custom CUDA solver achieves up to a 100x speedup over standard PyTorch implementations. We further apply DirtyMoCap to heterogeneous raw optical MoCap recordings of traditional Chinese martial arts, yielding a Kung Fu motion dataset of temporally coherent SMPL-H reconstructions. Code and data are available at https://wanglongzju.github.io/DirtyMoCap-Project-Page.