CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

📄 arXiv: 2406.19353v2 📥 PDF

作者: Yun Liu, Chengwen Zhang, Ruofan Xing, Bingda Tang, Bowen Yang, Li Yi

分类: cs.CV

发布日期: 2024-06-27 (更新: 2024-12-24)

💡 一句话要点

CORE4D：用于协同物体重排列的4D人-物-人交互数据集

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人-物交互 4D数据集 协同重排列 运动捕捉 数据增强

📋 核心要点

  1. 现有方法缺乏足够的数据集来深入研究人类如何协同重排列家居物品，阻碍了VR/AR和人机交互领域的发展。
  2. CORE4D通过捕获真实世界的人-物-人交互运动序列，并提出迭代协同重定向策略，将运动扩展到各种物体，构建大规模数据集。
  3. 实验表明，CORE4D数据集对现有人-物交互生成方法提出了新的挑战，并验证了协同重定向策略的有效性。

📝 摘要（中文）

本文提出了CORE4D，一个新颖的大规模4D人-物-人交互数据集，专注于协同物体重排列，旨在填补相关数据集的空白，从而促进VR/AR和人机交互领域的研究。该数据集包含在真实世界中捕获的1000个人-物-人运动序列，并通过迭代的协同重定向策略，将这些运动扩展到各种新颖的物体上，从而增强了数据集的多样性。CORE4D总共包含11000个协同序列，涵盖3000个真实和虚拟物体形状。利用CORE4D提供的丰富的运动模式，本文对人-物交互生成中的两个任务进行了基准测试：人-物运动预测和交互合成。实验结果表明，本文提出的协同重定向策略是有效的，并且CORE4D对现有的人-物交互生成方法提出了新的挑战。

🔬 方法详解

问题定义：现有的人-物交互数据集不足以支持对人类协同重排列物体的行为进行深入建模。缺乏包含多样物体几何形状、协作模式和3D场景的大规模数据集，限制了VR/AR和人机交互领域的发展。现有方法难以处理复杂的人-物-人协同交互场景，尤其是在物体形状变化时，如何保持交互的自然性和合理性是一个挑战。

核心思路：本文的核心思路是通过构建一个大规模的4D人-物-人交互数据集CORE4D，并提出一种迭代的协同重定向策略，将已有的运动序列迁移到新的物体形状上。这样可以有效地扩展数据集，并为研究人-物协同交互提供丰富的数据支持。通过对人-物运动预测和交互合成等任务进行基准测试，验证数据集的有效性和挑战性。

技术框架：CORE4D数据集的构建主要包含以下几个阶段：1）真实世界数据采集：使用运动捕捉系统记录1000个人-物-人交互运动序列。2）数据增强：提出迭代协同重定向策略，将已有的运动序列迁移到3000个真实和虚拟物体形状上，生成11000个协同序列。3）基准测试：在CORE4D数据集上对人-物运动预测和交互合成两个任务进行基准测试，评估现有方法的性能。

关键创新：本文的关键创新在于提出了迭代协同重定向策略。该策略能够将已有的协同运动序列迁移到新的物体形状上，从而有效地扩展数据集，并保证交互的自然性和合理性。与现有方法相比，该策略能够处理更复杂的协同交互场景，并支持对不同物体形状的交互进行建模。

关键设计：迭代协同重定向策略的具体实现细节未知，论文中可能涉及的关键设计包括：1）如何定义和计算运动序列之间的相似度。2）如何将运动序列从一个物体形状迁移到另一个物体形状。3）如何保证迁移后的运动序列的自然性和合理性。4）迭代过程中的收敛条件和参数设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CORE4D数据集包含11000个协同序列，涵盖3000个真实和虚拟物体形状，是目前最大的4D人-物-人交互数据集之一。在人-物运动预测和交互合成任务上的基准测试表明，现有方法在CORE4D数据集上表现不佳，表明该数据集对现有方法提出了新的挑战。协同重定向策略的有效性也得到了实验验证，但具体性能提升数据未知。

🎯 应用场景

CORE4D数据集和相关研究成果可广泛应用于VR/AR、人机交互、机器人操作等领域。例如，可以用于训练机器人学习如何与人类协同完成物体重排列任务，提高机器人的智能化水平和服务能力。此外，该数据集还可以用于开发更逼真、更自然的VR/AR交互体验，提升用户体验。

📄 摘要（原文）

Understanding how humans cooperatively rearrange household objects is critical for VR/AR and human-robot interaction. However, in-depth studies on modeling these behaviors are under-researched due to the lack of relevant datasets. We fill this gap by presenting CORE4D, a novel large-scale 4D human-object-human interaction dataset focusing on collaborative object rearrangement, which encompasses diverse compositions of various object geometries, collaboration modes, and 3D scenes. With 1K human-object-human motion sequences captured in the real world, we enrich CORE4D by contributing an iterative collaboration retargeting strategy to augment motions to a variety of novel objects. Leveraging this approach, CORE4D comprises a total of 11K collaboration sequences spanning 3K real and virtual object shapes. Benefiting from extensive motion patterns provided by CORE4D, we benchmark two tasks aiming at generating human-object interaction: human-object motion forecasting and interaction synthesis. Extensive experiments demonstrate the effectiveness of our collaboration retargeting strategy and indicate that CORE4D has posed new challenges to existing human-object interaction generation methodologies.