DreamHMR: From Video Generation to Human Motion Modeling via Structural Focusing

📄 arXiv: 2610.20124v1 📥 PDF

作者: Zhengjie Xu, Ruihao Gong, Xianglong Liu

分类: cs.CV, cs.AI

发布日期: 2026-10-14

备注: 25 pages, 7 figures

💡 一句话要点

提出DreamHMR以解决视频中人体运动建模问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人体运动建模 视频生成 几何恢复 深度学习 局部特征增强 遮挡处理 虚拟现实 增强现实

📋 核心要点

  1. 现有方法在真实场景中面临遮挡和部分可见性的问题，导致人体运动和手部细节重建不准确。
  2. DreamHMR通过将视频生成的先验知识与人体几何结合，采用全局到局部的策略进行重建。
  3. 在五个数据集上进行的实验显示，DreamHMR在多个指标上均超越了现有最佳方法，提升幅度显著。

📝 摘要（中文）

人体网格恢复（HMR）为理解人体运动提供了几何基础，但在视频中准确重建身体运动和细致的手部动作仍然具有挑战性，尤其是在遮挡和部分可见性普遍存在的真实场景中。视频生成预训练为此任务提供了丰富的空间和时间先验，但其对视觉合成的关注使得这些表示与明确的人体几何之间存在差距。我们提出了DreamHMR，这是一个通用框架，旨在将视频生成先验适配于完整的身体和手部重建。该方法遵循从全局到局部的策略，首先将视频表示与人体几何相结合，然后利用可靠的局部证据细化身体和手部细节。实验表明，我们的模型在多个数据集上表现出色，超越了现有最佳方法。

🔬 方法详解

问题定义：论文旨在解决在视频中准确重建人体运动和手部细节的挑战，现有方法在遮挡和部分可见性情况下表现不佳。

核心思路：DreamHMR的核心思路是将视频生成的先验知识与人体几何相结合，采用全局到局部的策略，以提高重建的准确性和细节。

技术框架：该框架包括两个主要模块：全局身体表示转移和局部关节特征增强。全局模块负责预测完整的人体渲染，而局部模块则结合上下文估计和局部证据来恢复细节。

关键创新：最重要的创新在于将视频生成的先验知识有效地转化为人体几何的学习，解决了现有方法在细节恢复上的不足。

关键设计：模型设计中采用了特定的损失函数和网络结构，以确保在重建过程中减少遮挡和背景的干扰，同时优化了关节特征的增强过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个数据集的实验中，DreamHMR在3DPW、EMDB-1和RICH等指标上超越了现有最佳方法，分别减少了4.2%、4.7%和6.1%的身体MPJPE。在更具挑战性的遮挡设置下，整体身体和手部MPJPE分别减少了7.0%和10.0%。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、运动分析和人机交互等。通过提高人体运动重建的准确性，DreamHMR能够为这些领域提供更为真实和自然的交互体验，推动相关技术的发展和应用。

📄 摘要（原文）

Human mesh recovery (HMR) provides a geometric foundation for understanding human motion, but accurately reconstructing both body motion and fine hand articulation from videos remains challenging, especially in real-world scenes where occlusion and partial visibility are common. Video generation pretraining offers rich spatial and temporal priors for this task, but its focus on visual synthesis leaves a gap between these representations and explicit human geometry. We present DreamHMR, a general framework that adapts video generation priors for complete body-and-hand reconstruction. It follows a global-to-local strategy, first grounding video representations in human geometry and then refining body and hand detail with reliable local evidence. Global Body Representation Transfer trains the video backbone to predict complete human renderings, turning its native prediction task into a means of learning surface correspondence and posed geometry. Local Joint Feature Enhancement combines contextual estimates with reliable local evidence to recover fine body and hand detail, while limiting interference from occluders and background. Experiments on five datasets with four video backbones demonstrate strong reconstruction performance across backbone families. Under a unified evaluation protocol, our best model outperforms the best existing methods on all reported metrics of 3DPW, EMDB-1, and RICH, reducing body MPJPE by 4.2%, 4.7%, and 6.1%, respectively. In more challenging occlusion settings on held-out BEDLAM and EgoBody sequences, DreamHMR reduces overall body and hand MPJPE by 7.0% and 10.0%, respectively. Our code will be made publicly available.