Spatial and Surface Correspondence Field for Interaction Transfer

📄 arXiv: 2405.03221v1 📥 PDF

作者: Zeyu Huang, Honghao Xu, Haibin Huang, Chongyang Ma, Hui Huang, Ruizhen Hu

分类: cs.CV, cs.GR, cs.LG

发布日期: 2024-05-06

备注: Accepted to SIGGRAPH 2024, project page at https://vcc.tech/research/2024/InterTransfer

💡 一句话要点

提出一种空间与表面对应场方法，用于交互迁移任务，提升迁移准确性和有效性。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 交互迁移 空间对应 表面对应 符号距离场 人机交互

📋 核心要点

  1. 现有交互迁移方法难以处理源对象和目标对象之间较大的几何和拓扑差异，导致迁移效果不佳。
  2. 该方法通过学习空间和表面对应场，建立源对象和目标对象之间的精确对应关系，从而实现更准确的交互迁移。
  3. 实验结果表明，该方法在人-椅和手-杯交互迁移任务上显著优于现有方法，能够处理更大的几何和拓扑变化。

📝 摘要（中文）

本文提出了一种新的交互迁移方法。给定源对象和代理之间的交互示例，该方法能够自动推断代理和目标对象之间的表面和空间关系，从而实现更准确和有效的迁移。具体而言，该方法使用组合的空间和表面表示来描述交互示例。通过学习到的空间和表面对应场，将与表示相关的代理点和对象点对应到目标对象空间，该对应场将对象表示为变形和旋转的符号距离场。利用对应点，在空间和表面交互表示以及附加正则化的约束下进行优化。在人-椅和手-杯交互迁移任务上进行的实验表明，该方法能够处理源形状和目标形状之间更大的几何和拓扑变化，显著优于现有方法。

🔬 方法详解

问题定义：交互迁移旨在将源对象与代理（例如人手）之间的交互关系迁移到目标对象上。现有方法在处理源对象和目标对象之间存在较大几何和拓扑差异时，往往难以建立准确的对应关系，导致迁移结果不自然或无效。这些方法通常依赖于简单的几何特征或全局形状匹配，无法捕捉复杂的交互细节。

核心思路：本文的核心思路是利用空间和表面对应场来建立源对象和目标对象之间的精确对应关系。通过将对象表示为变形和旋转的符号距离场，并学习一个对应场来将源对象的空间和表面信息映射到目标对象上，从而实现更鲁棒的交互迁移。这种方法能够更好地处理几何和拓扑变化，并保留重要的交互细节。

技术框架：该方法主要包含以下几个阶段：1) 使用组合的空间和表面表示来描述源对象和代理之间的交互关系。2) 学习一个空间和表面对应场，将源对象的空间和表面信息映射到目标对象上。3) 利用对应点，在空间和表面交互表示以及附加正则化的约束下进行优化，生成最终的交互迁移结果。

关键创新：该方法的关键创新在于提出了空间和表面对应场的概念，并将其应用于交互迁移任务中。与现有方法相比，该方法能够更好地处理几何和拓扑变化，并保留重要的交互细节。此外，该方法还采用了变形和旋转的符号距离场来表示对象，从而能够更有效地学习对应关系。

关键设计：空间和表面对应场通过神经网络学习得到，输入是源对象和目标对象的空间和表面信息，输出是源对象上的点到目标对象上的对应点的映射关系。损失函数包括对应损失、正则化损失等，用于约束对应场的学习。优化过程采用迭代的方式，逐步调整代理在目标对象上的位置和姿态，直到满足空间和表面交互表示的约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在人-椅和手-杯交互迁移任务上显著优于现有方法。与现有方法相比，该方法能够处理更大的几何和拓扑变化，并生成更自然和有效的交互迁移结果。具体而言，该方法在交互有效性和准确性方面均取得了显著提升，能够更好地保留源对象和代理之间的交互关系。

🎯 应用场景

该研究成果可应用于虚拟现实、人机交互、机器人等领域。例如，可以用于自动生成虚拟角色与虚拟环境的交互动画，提高虚拟现实体验的真实感。在机器人领域，可以用于将人类的动作迁移到机器人身上，使机器人能够更自然地与环境进行交互。此外，该方法还可以用于辅助设计，例如自动生成不同款式的家具与人体之间的交互关系。

📄 摘要（原文）

In this paper, we introduce a new method for the task of interaction transfer. Given an example interaction between a source object and an agent, our method can automatically infer both surface and spatial relationships for the agent and target objects within the same category, yielding more accurate and valid transfers. Specifically, our method characterizes the example interaction using a combined spatial and surface representation. We correspond the agent points and object points related to the representation to the target object space using a learned spatial and surface correspondence field, which represents objects as deformed and rotated signed distance fields. With the corresponded points, an optimization is performed under the constraints of our spatial and surface interaction representation and additional regularization. Experiments conducted on human-chair and hand-mug interaction transfer tasks show that our approach can handle larger geometry and topology variations between source and target shapes, significantly outperforming state-of-the-art methods.