1st Place Solution to the 8th HANDS Workshop Challenge -- ARCTIC Track: 3DGS-based Bimanual Category-agnostic Interaction Reconstruction

📄 arXiv: 2409.19215v2 📥 PDF

作者: Jeongwan On, Kyeonghwan Gwak, Gunyoung Kang, Hyein Hwang, Soohyun Hwang, Junuk Cha, Jaewook Han, Seungryul Baek

分类: cs.CV

发布日期: 2024-09-28 (更新: 2024-10-07)

💡 一句话要点

基于3DGS的双手-物体交互重建方法，解决无类别模板的单目视频重建难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 双手-物体交互 三维重建 单目视频 无类别模板

📋 核心要点

  1. 单目视频下的双手-物体交互重建面临严重的遮挡和动态接触问题，传统方法难以有效处理。
  2. 提出基于3D高斯溅射（3DGS）的方法，并引入mask loss和3D contact loss来应对遮挡和接触问题。
  3. 该方法在ARCTIC测试集上取得了显著成果，CD$_h$指标达到38.69，验证了方法的有效性。

📝 摘要（中文）

本报告描述了我们在ECCV 2024的第八届HANDS workshop挑战赛（ARCTIC赛道）中获得第一名的解决方案。 在本次挑战中，我们致力于解决双手-物体交互的无类别模板三维重建问题，即从单目视频中生成手和物体的三维重建，而无需依赖预定义的模板。由于双手和物体在双手操作过程中存在显著的遮挡和动态接触，这项任务极具挑战性。我们通过引入mask loss和3D contact loss来分别解决这些问题。此外，我们将3D高斯溅射（3DGS）应用于此任务。 最终，我们的方法在ARCTIC测试集上实现了38.69的CD$_h$值，获得了第一名。

🔬 方法详解

问题定义：论文旨在解决单目视频中双手与物体交互的3D重建问题，尤其是在没有预定义物体类别模板的情况下。现有的方法在处理手与物体之间复杂的遮挡和动态接触时表现不佳，导致重建质量下降。

核心思路：论文的核心思路是利用3D高斯溅射（3DGS）的强大表达能力来表示手和物体，并通过引入mask loss来减少遮挡的影响，同时使用3D contact loss来约束手与物体之间的接触关系，从而提高重建的准确性和鲁棒性。

技术框架：整体框架包括以下几个主要步骤：1) 从单目视频中提取图像特征；2) 使用3DGS表示手和物体；3) 通过优化3DGS参数来拟合观测到的图像特征，优化的目标函数包括图像重建损失、mask loss和3D contact loss；4) 最终得到手和物体的3D重建结果。

关键创新：该方法最重要的创新点在于将3DGS应用于无类别模板的双手-物体交互重建任务，并设计了mask loss和3D contact loss来显式地处理遮挡和接触问题。与传统方法相比，该方法能够更好地处理复杂的交互场景，并生成更准确的3D重建结果。

关键设计：mask loss的设计旨在减少背景和遮挡区域对重建的影响，通过对可见区域赋予更高的权重，从而提高重建的准确性。3D contact loss的设计旨在约束手和物体之间的接触关系，通过惩罚穿透和分离的情况，从而保证重建结果的物理合理性。具体的损失函数形式和权重参数的选择需要根据实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在ARCTIC测试集上取得了显著的成果，CD$_h$指标达到了38.69，超越了其他参赛队伍，获得了第一名。实验结果表明，引入的mask loss和3D contact loss能够有效地提高重建的准确性和鲁棒性，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于人机交互、虚拟现实、机器人操作等领域。例如，可以用于构建更自然、更逼真的虚拟交互环境，也可以用于提高机器人操作的灵活性和准确性。未来，该技术有望在远程协作、康复训练等领域发挥重要作用。

📄 摘要（原文）

This report describes our 1st place solution to the 8th HANDS workshop challenge (ARCTIC track) in conjunction with ECCV 2024. In this challenge, we address the task of bimanual category-agnostic hand-object interaction reconstruction, which aims to generate 3D reconstructions of both hands and the object from a monocular video, without relying on predefined templates. This task is particularly challenging due to the significant occlusion and dynamic contact between the hands and the object during bimanual manipulation. We worked to resolve these issues by introducing a mask loss and a 3D contact loss, respectively. Moreover, we applied 3D Gaussian Splatting (3DGS) to this task. As a result, our method achieved a value of 38.69 in the main metric, CD$_h$, on the ARCTIC test set.