Scene-aware Human Motion Forecasting via Mutual Distance Prediction

📄 arXiv: 2310.00615v4 📥 PDF

作者: Chaoyue Xing, Wei Mao, Miaomiao Liu

分类: cs.CV

发布日期: 2023-10-01 (更新: 2024-08-10)

备注: Accepted to ECCV2024

💡 一句话要点

提出基于互距预测的场景感知人类动作预测方法

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类动作预测 场景感知 互距建模 全身动作约束 有符号距离函数 虚拟现实 智能监控

📋 核心要点

  1. 核心问题：现有方法在建模人类与场景的交互时，仅对部分动作提供约束，导致全身动作预测不准确。
  2. 方法要点：提出通过人类与场景之间的互距建模，全面约束人类动作，确保动作与场景一致性。
  3. 实验或效果：在多个合成和真实数据集上，所提方法的表现均优于现有最先进技术，验证了其有效性。

📝 摘要（中文）

本文针对场景感知的3D人类动作预测问题展开研究。该任务的关键挑战在于通过建模人类与场景的交互来预测与场景一致的未来人类动作。尽管近期研究表明对人类与场景交互的显式约束可以防止幽灵动作的发生，但现有方法仅对部分人类动作提供约束，未能全面约束整个动作。为了解决这一局限性，本文提出通过人类身体与场景之间的互距建模人类与场景的交互，从而实现全身动作的约束预测。互距约束由人类网格上每个顶点到场景表面的有符号距离和基础场景点到人类网格的距离组成。我们还引入了从有符号距离函数(SDF)体积中学习的全局场景表示，以确保全局场景表示与互距的显式约束之间的一致性。大量实验表明，所提方法在现有合成和真实数据集上均优于最先进的方法。

🔬 方法详解

问题定义：本文旨在解决场景感知的3D人类动作预测问题。现有方法仅对人类的部分动作提供约束，导致全身动作预测存在不一致性和不准确性。

核心思路：通过建模人类身体与场景之间的互距，本文提出了一种新的约束机制，能够同时约束局部和全局的人类动作，从而实现更为准确的全身动作预测。

技术框架：整体流程分为两个主要步骤：首先预测未来的互距，然后基于这些互距预测未来的人类动作。该方法通过显式鼓励预测姿态与互距之间的一致性来进行训练。

关键创新：最重要的创新在于引入了互距约束，包括人类网格顶点到场景表面的有符号距离和基础场景点到人类网格的距离。这一设计与现有方法的本质区别在于全面约束了人类的全身动作，而不仅仅是局部动作。

关键设计：在训练过程中，采用了特定的损失函数来确保预测的姿态与互距之间的一致性。此外，使用了从有符号距离函数(SDF)体积中学习的全局场景表示，以增强全局场景与互距约束之间的协调性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个合成和真实数据集上的实验结果显示，所提方法在动作预测精度上超越了现有最先进的方法，具体提升幅度达到XX%。这一结果表明了互距约束在场景感知人类动作预测中的有效性。

🎯 应用场景

该研究在虚拟现实、动画制作、智能监控等领域具有广泛的应用潜力。通过提高人类动作预测的准确性，可以增强人机交互的自然性和流畅性，推动相关技术的进步与发展。

📄 摘要（原文）

In this paper, we tackle the problem of scene-aware 3D human motion forecasting. A key challenge of this task is to predict future human motions that are consistent with the scene by modeling the human-scene interactions. While recent works have demonstrated that explicit constraints on human-scene interactions can prevent the occurrence of ghost motion, they only provide constraints on partial human motion e.g., the global motion of the human or a few joints contacting the scene, leaving the rest of the motion unconstrained. To address this limitation, we propose to model the human-scene interaction with the mutual distance between the human body and the scene. Such mutual distances constrain both the local and global human motion, resulting in a whole-body motion constrained prediction. In particular, mutual distance constraints consist of two components, the signed distance of each vertex on the human mesh to the scene surface and the distance of basis scene points to the human mesh. We further introduce a global scene representation learned from a signed distance function (SDF) volume to ensure coherence between the global scene representation and the explicit constraint from the mutual distance. We develop a pipeline with two sequential steps: predicting the future mutual distances first, followed by forecasting future human motion. During training, we explicitly encourage consistency between predicted poses and mutual distances. Extensive evaluations on the existing synthetic and real datasets demonstrate that our approach consistently outperforms the state-of-the-art methods.