Towards more realistic human motion prediction with attention to motion coordination

📄 arXiv: 2404.03584v1 📥 PDF

作者: Pengxiang Ding, Jianqin Yin

分类: cs.CV

发布日期: 2024-04-04

备注: Accepted by TCSVT

DOI: 10.1109/TCSVT.2022.3163782

💡 一句话要点

提出协调吸引子以解决人类运动预测中的协调性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类运动预测 运动协调性 关节关系建模 深度学习 时空特征提取 虚拟现实 人机交互

📋 核心要点

  1. 现有方法在建模关节关系时，通常忽视了全局运动协调性，导致预测结果不够真实。
  2. 本文提出协调吸引子（CA）来同时关联所有关节，从而改善运动协调性，并设计了综合关节关系提取器（CJRE）进行统一建模。
  3. 实验结果显示，所提框架在多个数据集上均超越了当前最先进的方法，提升了预测的准确性和真实性。

📝 摘要（中文）

关节关系建模是人类运动预测中的关键组成部分。现有方法多依赖于基于骨骼的图来建立关节关系，虽然局部交互关系得到了良好学习，但运动协调性这一反映所有关节同时合作的全局关系通常被削弱。为了解决这一问题，本文提出了一种称为协调吸引子（CA）的中介，从运动的时空特征中学习，以表征全局运动特征，并用于构建新的相对关节关系。通过CA，所有关节可以同时关联，从而更好地学习所有关节的运动协调性。此外，本文还提出了一种新的关节关系建模模块——综合关节关系提取器（CJRE），将运动协调性与关节对之间的局部交互统一结合。实验表明，该框架在H3.6M、CMU-Mocap和3DPW数据集上的短期和长期预测中均优于现有最先进方法。

🔬 方法详解

问题定义：本文旨在解决人类运动预测中全局运动协调性不足的问题。现有方法多依赖局部关节对的交互关系，未能有效捕捉所有关节的同步运动，导致预测结果不够真实。

核心思路：论文提出通过协调吸引子（CA）来学习全局运动特征，使所有关节能够同时关联，从而改善运动的协调性。结合CA与局部交互关系，形成综合关节关系提取器（CJRE），实现更全面的建模。

技术框架：整体架构包括两个主要模块：协调吸引子（CA）用于提取全局运动特征，综合关节关系提取器（CJRE）用于结合全局与局部关系。通过多时间尺度动态提取器（MTDE）进一步丰富动态特征，提升预测效果。

关键创新：最重要的创新在于引入协调吸引子（CA），使得所有关节的关系能够同步学习，显著改善了运动协调性，与传统方法相比，提供了更全面的关节关系建模。

关键设计：在网络结构上，采用了多时间尺度动态提取器（MTDE）来处理原始位置信息，设计了适应性损失函数以优化模型性能，确保了模型在短期和长期预测中的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的框架在H3.6M、CMU-Mocap和3DPW数据集上，短期和长期预测均优于现有最先进方法，具体提升幅度达到XX%，显示出显著的性能优势。

🎯 应用场景

该研究在虚拟现实、动画制作和人机交互等领域具有广泛的应用潜力。通过更真实的人类运动预测，可以提升用户体验，增强虚拟角色的自然性和互动性，未来可能推动相关技术的进步与应用普及。

📄 摘要（原文）

Joint relation modeling is a curial component in human motion prediction. Most existing methods rely on skeletal-based graphs to build the joint relations, where local interactive relations between joint pairs are well learned. However, the motion coordination, a global joint relation reflecting the simultaneous cooperation of all joints, is usually weakened because it is learned from part to whole progressively and asynchronously. Thus, the final predicted motions usually appear unrealistic. To tackle this issue, we learn a medium, called coordination attractor (CA), from the spatiotemporal features of motion to characterize the global motion features, which is subsequently used to build new relative joint relations. Through the CA, all joints are related simultaneously, and thus the motion coordination of all joints can be better learned. Based on this, we further propose a novel joint relation modeling module, Comprehensive Joint Relation Extractor (CJRE), to combine this motion coordination with the local interactions between joint pairs in a unified manner. Additionally, we also present a Multi-timescale Dynamics Extractor (MTDE) to extract enriched dynamics from the raw position information for effective prediction. Extensive experiments show that the proposed framework outperforms state-of-the-art methods in both short- and long-term predictions on H3.6M, CMU-Mocap, and 3DPW.