Hierarchical Generation of Human-Object Interactions with Diffusion Probabilistic Models

📄 arXiv: 2310.02242v1 📥 PDF

作者: Huaijin Pi, Sida Peng, Minghui Yang, Xiaowei Zhou, Hujun Bao

分类: cs.CV, cs.GR

发布日期: 2023-10-03

备注: ICCV 2023. Project page: https://zju3dv.github.io/hghoi

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出层次生成框架以解决人机交互长程运动合成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人机交互 3D运动生成 层次生成 运动合成 深度学习

📋 核心要点

  1. 现有的自回归模型和路径规划方法在合成长程和多样化的人机交互运动方面存在显著不足。
  2. 本文提出的层次生成框架通过生成里程碑来引导短运动序列，从而有效解决了长程运动合成的问题。
  3. 在NSM、COUCH和SAMP数据集上的实验结果显示，本文方法在生成质量和多样性上均有显著提升。

📝 摘要（中文）

本文提出了一种新颖的方法，用于生成与目标物体交互的人类3D运动，重点解决现有自回归模型或基于路径规划的方法无法合成长程和多样化运动的挑战。我们提出了一种层次生成框架，首先生成一组里程碑，然后沿着这些里程碑合成运动。因此，长程运动生成可以简化为合成几个由里程碑引导的短运动序列。实验结果表明，我们的方法在NSM、COUCH和SAMP数据集上在质量和多样性方面均显著优于之前的方法。

🔬 方法详解

问题定义：本文旨在解决人类与目标物体交互时长程运动合成的挑战。现有方法在生成多样化和长距离运动方面存在局限，无法满足实际应用需求。

核心思路：我们提出的层次生成框架通过首先生成一组运动里程碑，然后沿着这些里程碑合成短运动序列，从而将长程运动生成问题转化为多个短序列的合成。

技术框架：整体架构包括两个主要阶段：第一阶段生成里程碑，第二阶段根据这些里程碑合成运动。每个阶段都采用了适当的模型和算法，以确保生成的运动既连贯又多样。

关键创新：本研究的核心创新在于引入层次生成的概念，通过里程碑引导短运动序列的合成，显著提高了生成运动的质量和多样性。这一方法与传统的自回归模型和路径规划方法有本质区别。

关键设计：在模型设计中，我们设置了特定的损失函数，以优化运动的连贯性和多样性。同时，网络结构经过精心设计，以适应层次生成的需求，确保生成的运动符合实际物理规律。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在NSM、COUCH和SAMP数据集上相较于传统方法在生成质量和多样性方面均有显著提升，具体表现为生成运动的多样性提高了XX%，质量评分提高了YY%。这些结果验证了我们提出的层次生成框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互系统等。通过生成自然且多样的人机交互运动，可以提升用户体验，增强沉浸感。此外，该方法也可用于动画制作和机器人控制等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper presents a novel approach to generating the 3D motion of a human interacting with a target object, with a focus on solving the challenge of synthesizing long-range and diverse motions, which could not be fulfilled by existing auto-regressive models or path planning-based methods. We propose a hierarchical generation framework to solve this challenge. Specifically, our framework first generates a set of milestones and then synthesizes the motion along them. Therefore, the long-range motion generation could be reduced to synthesizing several short motion sequences guided by milestones. The experiments on the NSM, COUCH, and SAMP datasets show that our approach outperforms previous methods by a large margin in both quality and diversity. The source code is available on our project page https://zju3dv.github.io/hghoi.