SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories
作者: Alexey Gavryushin, Alexandros Delitzas, Luc Van Gool, Marc Pollefeys, Kaichun Mo, Xi Wang
分类: cs.CV
发布日期: 2025-03-28 (更新: 2025-05-29)
💡 一句话要点
SIGHT：提出图像-文本条件和几何引导的3D手-物交互轨迹生成方法
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手-物交互 轨迹生成 扩散模型 图像-文本条件 几何约束
📋 核心要点
- 现有手-物交互轨迹生成方法依赖于不包含物体信息的文本或难以获取的3D网格模型。
- SIGHT-Fusion通过检索相似3D网格并利用扩散引导，在图像和文本条件下生成符合几何约束的轨迹。
- 实验表明，SIGHT在轨迹多样性、质量和手-物交互几何指标上优于现有方法。
📝 摘要（中文）
本文提出了一种名为SIGHT的新任务，旨在从单张图像和简短的语言描述中生成逼真且物理上合理的3D手-物交互轨迹。现有手-物轨迹生成工作通常依赖于缺乏目标物体显式信息的文本输入，或者需要3D物体网格模型，而获取3D模型通常比2D图像困难得多。为此，我们提出了SIGHT-Fusion，一种基于扩散的图像-文本条件生成模型。该模型通过从数据库中检索最相似的3D物体网格，并利用一种新颖的推理时扩散引导来强制执行几何手-物交互约束。我们在HOI4D和H2O数据集上评估了我们的模型，并将相关基线方法适配到此新任务上。实验结果表明，我们的模型在生成轨迹的多样性和质量以及手-物交互几何指标方面均表现出优越的性能。
🔬 方法详解
问题定义：现有手-物交互轨迹生成方法主要存在两个痛点。一是依赖于纯文本描述，缺乏与目标物体的视觉关联，导致生成轨迹的准确性和真实性受限。二是需要3D物体网格模型作为输入，而获取精确的3D模型通常比获取2D图像困难得多，限制了方法的应用范围。因此，如何仅利用2D图像和文本描述生成逼真且符合物理规律的3D手-物交互轨迹是一个挑战。
核心思路：SIGHT的核心思路是利用扩散模型强大的生成能力，结合图像和文本信息，并引入几何约束来引导轨迹生成。具体来说，首先从图像中提取视觉特征，并结合文本描述，作为扩散模型的条件输入。然后，通过检索与图像最相似的3D物体网格，并在扩散过程中施加手-物交互的几何约束，从而保证生成轨迹的合理性和物理可行性。
技术框架：SIGHT-Fusion模型主要包含以下几个模块：1) 图像和文本编码器：用于提取图像和文本的特征表示。2) 3D物体网格检索模块：从数据库中检索与输入图像最相似的3D物体网格。3) 扩散模型：基于图像、文本和检索到的3D网格，生成初始的手-物交互轨迹。4) 扩散引导模块：在扩散过程中，通过几何约束引导轨迹生成，使其满足手-物交互的物理规律。整体流程是，给定图像和文本，首先提取特征并检索3D网格，然后输入扩散模型生成初始轨迹，最后通过扩散引导优化轨迹。
关键创新：SIGHT的关键创新在于：1) 提出了图像-文本条件下的手-物交互轨迹生成任务，更贴近实际应用场景。2) 提出了SIGHT-Fusion模型，将扩散模型与几何约束相结合，有效提高了生成轨迹的质量和真实性。3) 提出了推理时扩散引导方法，可以在不重新训练模型的情况下，灵活地调整生成轨迹的几何属性。
关键设计：SIGHT-Fusion使用标准的扩散模型架构，例如DDPM或DDIM。图像和文本编码器可以使用预训练的视觉和语言模型，例如CLIP。3D物体网格检索模块可以使用基于特征相似度的检索方法。扩散引导模块的关键在于设计合适的几何约束，例如手与物体之间的距离、角度和接触力等。损失函数包括扩散模型的标准损失函数，以及用于约束几何属性的损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SIGHT-Fusion在HOI4D和H2O数据集上显著优于现有方法。在生成轨迹的多样性方面，SIGHT-Fusion的FID得分明显低于基线方法。在生成轨迹的质量方面，SIGHT-Fusion在手-物交互几何指标（例如穿透深度和接触距离）上取得了显著提升。这些结果表明，SIGHT-Fusion能够生成更逼真、多样且符合物理规律的手-物交互轨迹。
🎯 应用场景
该研究成果可应用于机器人操作、虚拟现实和增强现实等领域。例如，可以帮助机器人学习如何抓取和操作物体，从而提高机器人的自主性和适应性。在虚拟现实和增强现实中，可以生成更逼真和自然的虚拟手部交互，提升用户体验。此外，该技术还可以用于动画制作和游戏开发，生成更生动的手部动作。
📄 摘要（原文）
When humans grasp an object, they naturally form trajectories in their minds to manipulate it for specific tasks. Modeling hand-object interaction priors holds significant potential to advance robotic and embodied AI systems in learning to operate effectively within the physical world. We introduce SIGHT, a novel task focused on generating realistic and physically plausible 3D hand-object interaction trajectories from a single image and a brief language-based task description. Prior work on hand-object trajectory generation typically relies on textual input that lacks explicit grounding to the target object, or assumes access to 3D object meshes, which are often considerably more difficult to obtain than 2D images. We propose SIGHT-Fusion, a novel diffusion-based image-text conditioned generative model that tackles this task by retrieving the most similar 3D object mesh from a database and enforcing geometric hand-object interaction constraints via a novel inference-time diffusion guidance. We benchmark our model on the HOI4D and H2O datasets, adapting relevant baselines for this novel task. Experiments demonstrate our superior performance in the diversity and quality of generated trajectories, as well as in hand-object interaction geometry metrics.