Interaction-Aware 4D Gaussian Splatting for Dynamic Hand-Object Interaction Reconstruction

📄 arXiv: 2511.14540v1 📥 PDF

作者: Hao Tian, Chenyangguang Zhang, Rui Liu, Wen Shen, Xiaolin Qin

分类: cs.CV

发布日期: 2025-11-18

备注: 11 pages, 6 figures

💡 一句话要点

提出交互感知4D高斯溅射，用于动态手-物交互重建

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 动态重建 手-物交互 高斯溅射 动态场景 交互感知 变形场 三维重建

📋 核心要点

  1. 现有方法难以在无物体先验下，精确建模手-物交互场景中复杂的遮挡和形变。
  2. 提出交互感知的高斯模型和动态场，并结合渐进式优化策略，提升重建质量。
  3. 实验表明，该方法在动态手-物交互重建任务上，超越了现有基于3D高斯溅射的方法。

📝 摘要（中文）

本文关注于在没有任何物体先验知识的情况下，同时建模手-物交互场景的几何形状和外观这一具有挑战性的任务。我们遵循基于动态3D高斯溅射的方法趋势，并解决了几个重要的挑战。为了建模具有相互遮挡和边缘模糊的复杂手-物交互，我们提出了交互感知的、带有新引入的可优化参数的手-物高斯模型，旨在为更清晰的结构表示采用分段线性假设。此外，考虑到交互动态过程中手部形状和物体形状的互补性和紧密性，我们将手部信息融入到物体变形场中，构建交互感知的动态场来建模灵活的运动。为了进一步解决优化过程中的困难，我们提出了一种渐进式策略，逐步处理动态区域和静态背景。相应地，设计了显式正则化来稳定手-物表示，以实现平滑的运动过渡、真实的物理交互和连贯的光照。实验表明，我们的方法超越了现有的基于动态3D-GS的方法，并在重建动态手-物交互方面取得了最先进的性能。

🔬 方法详解

问题定义：现有方法在重建动态手-物交互场景时，尤其是在没有物体先验知识的情况下，难以准确建模手部和物体之间的复杂遮挡关系以及物体的形变。边缘模糊和优化困难是主要的痛点。

核心思路：论文的核心思路是利用交互感知的高斯模型和动态场，将手部信息融入到物体形变中，并采用渐进式优化策略，从而更准确地重建手-物交互场景。通过显式正则化来稳定手-物表示，保证重建结果的真实性和连贯性。

技术框架：整体框架包含以下几个主要模块：1) 交互感知的手-物高斯模型，用于表示手部和物体的几何形状和外观；2) 交互感知的动态场，用于建模物体的形变；3) 渐进式优化策略，用于逐步处理动态区域和静态背景；4) 显式正则化，用于稳定手-物表示。

关键创新：最重要的技术创新点在于提出了交互感知的手-物高斯模型和动态场。与现有方法相比，该方法能够更好地利用手部信息来辅助物体形变的建模，从而更准确地重建手-物交互场景。此外，渐进式优化策略和显式正则化也提高了重建的稳定性和质量。

关键设计：论文设计了可优化的参数，以采用分段线性假设来表示手-物高斯模型，从而更清晰地表示结构。在动态场中，手部信息被融入到物体变形场中，以建模灵活的运动。渐进式优化策略分步处理动态区域和静态背景。显式正则化被设计用于稳定手-物表示，以实现平滑的运动过渡、真实的物理交互和连贯的光照。

📊 实验亮点

实验结果表明，该方法在重建动态手-物交互方面取得了state-of-the-art的性能。与现有的基于动态3D-GS的方法相比，该方法能够更准确地重建手部和物体的几何形状和外观，并更好地处理遮挡和形变。具体的性能数据在论文中给出。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、机器人控制、人机交互等领域。例如，可以用于创建更逼真的虚拟手部交互体验，或者用于训练机器人进行复杂的手部操作。此外，该技术还可以用于分析和理解人类的手部动作，从而为运动捕捉和动画制作提供更精确的数据。

📄 摘要（原文）

This paper focuses on a challenging setting of simultaneously modeling geometry and appearance of hand-object interaction scenes without any object priors. We follow the trend of dynamic 3D Gaussian Splatting based methods, and address several significant challenges. To model complex hand-object interaction with mutual occlusion and edge blur, we present interaction-aware hand-object Gaussians with newly introduced optimizable parameters aiming to adopt piecewise linear hypothesis for clearer structural representation. Moreover, considering the complementarity and tightness of hand shape and object shape during interaction dynamics, we incorporate hand information into object deformation field, constructing interaction-aware dynamic fields to model flexible motions. To further address difficulties in the optimization process, we propose a progressive strategy that handles dynamic regions and static background step by step. Correspondingly, explicit regularizations are designed to stabilize the hand-object representations for smooth motion transition, physical interaction reality, and coherent lighting. Experiments show that our approach surpasses existing dynamic 3D-GS-based methods and achieves state-of-the-art performance in reconstructing dynamic hand-object interaction.