MACS: Mass Conditioned 3D Hand and Object Motion Synthesis

📄 arXiv: 2312.14929v1 📥 PDF

作者: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, Thabo Beeler

分类: cs.CV, cs.GR

发布日期: 2023-12-22

💡 一句话要点

MACS：提出质量条件3D手部与物体运动合成方法，提升交互真实感

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 手部运动合成 物体交互 质量条件 扩散模型 3D动画 物理模拟 接触合成

📋 核心要点

  1. 现有3D手部与物体运动合成方法忽略了物体质量对交互的影响，导致合成运动不够自然。
  2. MACS通过级联扩散模型，根据物体质量和交互类型合成自然的3D手部与物体运动。
  3. 实验表明，MACS在未见过的物体质量上具有良好的泛化能力，用户研究证实合成结果逼真。

📝 摘要（中文）

本文提出MACS，一种质量条件3D手部与物体运动合成方法，旨在提升合成3D手部-物体交互运动的自然性。现有方法忽略了物体质量这一重要物理属性。MACS基于级联扩散模型，生成的交互运动能够根据物体质量和交互类型进行合理调整。MACS还接受手动绘制的3D物体轨迹作为输入，并合成受物体质量影响的自然3D手部运动。这种灵活性使得MACS可用于多种下游应用，例如为机器学习任务生成合成训练数据、为图形工作流程快速生成手部动画以及为电脑游戏生成角色交互。实验表明，一个小规模数据集足以让MACS在训练期间未见过的插值和外推物体质量上进行合理泛化。此外，得益于表面接触合成模型ConNet生成的质量条件接触标签，MACS对未见过的物体表现出适度的泛化能力。全面的用户研究证实，合成的3D手部-物体交互非常合理且逼真。

🔬 方法详解

问题定义：现有3D手部与物体运动合成方法主要关注运动的几何和时序一致性，忽略了物体质量这一重要的物理属性。这导致合成的交互运动可能不符合物理规律，缺乏真实感。例如，抓取重物和轻物的动作应该有所不同，但现有方法难以体现这种差异。

核心思路：MACS的核心思路是将物体质量作为条件，融入到3D手部与物体运动的合成过程中。通过学习物体质量与手部运动之间的关系，MACS能够生成更符合物理规律、更自然的交互运动。这种条件生成的方式使得模型能够根据不同的物体质量调整手部运动，从而提高合成结果的真实感。

技术框架：MACS采用级联扩散模型作为其核心技术框架。整体流程包括：1) 接收手动绘制的3D物体轨迹和物体质量作为输入；2) 使用表面接触合成模型ConNet生成质量条件的接触标签；3) 利用级联扩散模型，根据物体质量和接触标签，逐步生成3D手部运动。该框架包含两个主要的扩散模型：一个用于生成全局运动，另一个用于精细化局部运动。

关键创新：MACS最重要的技术创新点在于将物体质量作为条件融入到3D手部与物体运动的合成过程中。与现有方法相比，MACS能够更好地模拟真实世界中物体质量对交互运动的影响，从而生成更自然、更逼真的结果。此外，级联扩散模型的使用也提高了生成运动的质量和多样性。

关键设计：MACS的关键设计包括：1) 使用ConNet生成质量条件的接触标签，为扩散模型提供更丰富的条件信息；2) 采用级联扩散模型，分别生成全局运动和局部运动，提高生成质量；3) 设计合适的损失函数，鼓励生成运动的物理合理性和自然性。具体的网络结构和参数设置在论文中有详细描述，但此处未提供。

📊 实验亮点

实验结果表明，MACS在未见过的物体质量上具有良好的泛化能力，能够生成合理的交互运动。用户研究证实，MACS合成的3D手部-物体交互非常合理且逼真，显著优于现有方法。虽然论文中没有给出具体的性能数据和提升幅度，但用户研究结果表明MACS在主观评价上具有显著优势。

🎯 应用场景

MACS具有广泛的应用前景，包括：1) 为机器学习任务生成高质量的合成训练数据，例如手部姿态估计、物体识别等；2) 在图形工作流程中快速生成手部动画，提高动画制作效率；3) 为电脑游戏生成更逼真的角色交互，增强游戏体验；4) 虚拟现实和增强现实应用中，提供更自然的物体操作体验。

📄 摘要（原文）

The physical properties of an object, such as mass, significantly affect how we manipulate it with our hands. Surprisingly, this aspect has so far been neglected in prior work on 3D motion synthesis. To improve the naturalness of the synthesized 3D hand object motions, this work proposes MACS the first MAss Conditioned 3D hand and object motion Synthesis approach. Our approach is based on cascaded diffusion models and generates interactions that plausibly adjust based on the object mass and interaction type. MACS also accepts a manually drawn 3D object trajectory as input and synthesizes the natural 3D hand motions conditioned by the object mass. This flexibility enables MACS to be used for various downstream applications, such as generating synthetic training data for ML tasks, fast animation of hands for graphics workflows, and generating character interactions for computer games. We show experimentally that a small-scale dataset is sufficient for MACS to reasonably generalize across interpolated and extrapolated object masses unseen during the training. Furthermore, MACS shows moderate generalization to unseen objects, thanks to the mass-conditioned contact labels generated by our surface contact synthesis model ConNet. Our comprehensive user study confirms that the synthesized 3D hand-object interactions are highly plausible and realistic.