InteractMove: Text-Controlled Human-Object Interaction Generation in 3D Scenes with Movable Objects

📄 arXiv: 2509.23612v1 📥 PDF

作者: Xinhao Cai, Minghang Zheng, Xin Jin, Yang Liu

分类: cs.CV, cs.AI

发布日期: 2025-09-28

💡 一句话要点

InteractMove：提出一种文本控制的3D场景中可移动物体人机交互生成方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互生成 3D场景理解 可移动物体 视觉定位 可供性学习 碰撞避免 物理合理性

📋 核心要点

  1. 现有的人机交互数据集主要关注静态物体，缺乏对可移动物体交互的建模，限制了应用范围。
  2. 论文提出InteractMove数据集和一套流水线方法，通过视觉定位、可供性学习和碰撞避免，实现文本控制的可移动物体人机交互生成。
  3. 实验结果表明，该方法能够生成物理上合理且符合文本描述的交互，优于现有方法。

📝 摘要（中文）

本文提出了一项新任务：在具有可移动物体的3D场景中，进行文本控制的人机交互生成。现有人机交互数据集存在交互类别不足的问题，并且通常只考虑与静态物体的交互（不改变物体位置）。收集包含可移动物体的数据集既困难又昂贵。为了解决这个问题，我们构建了InteractMove数据集，用于3D场景中可移动的人机交互，它具有三个关键特征：1) 包含多个可移动物体的场景，具有文本控制的交互规范（包括需要空间和3D场景上下文理解的同类别干扰物）；2) 多样化的物体类型和尺寸，具有不同的交互模式（单手、双手等）；3) 物理上合理的物体操作轨迹。由于引入了各种可移动物体，这项任务变得更具挑战性，因为模型需要准确识别要交互的物体，学习与不同尺寸和类别的物体进行交互，并避免可移动物体与场景之间的碰撞。为了应对这些挑战，我们提出了一种新的流水线解决方案。我们首先使用3D视觉定位模型来识别交互对象。然后，我们提出了一种手-物联合可供性学习方法，以预测不同手部关节和物体部分的接触区域，从而能够准确地抓取和操作各种物体。最后，我们通过局部场景建模和碰撞避免约束来优化交互，确保物理上合理的运动并避免物体与场景之间的碰撞。综合实验表明，与现有方法相比，我们的方法在生成物理上合理、符合文本描述的交互方面具有优越性。

🔬 方法详解

问题定义：论文旨在解决3D场景中，根据文本描述生成人与可移动物体之间交互的问题。现有方法主要关注静态物体交互，无法处理可移动物体带来的复杂性，例如物体选择、不同尺寸物体的交互方式以及碰撞避免等问题。收集包含可移动物体交互的数据集成本高昂，也限制了相关研究的进展。

核心思路：论文的核心思路是将人机交互生成过程分解为三个关键步骤：首先，通过3D视觉定位确定交互对象；其次，学习手部和物体之间的可供性，预测接触区域，实现精确抓取和操作；最后，通过局部场景建模和碰撞避免约束，保证交互的物理合理性。这种分解策略能够有效地处理可移动物体带来的复杂性，并生成更逼真的人机交互。

技术框架：整体框架包含以下三个主要模块：1) 3D视觉定位模块：用于根据文本描述，在3D场景中准确识别需要交互的物体。2) 手-物联合可供性学习模块：用于预测手部关节和物体部分的接触区域，从而实现精确的抓取和操作。3) 交互优化模块：通过局部场景建模和碰撞避免约束，优化交互过程，确保物理合理性，避免物体与场景发生碰撞。

关键创新：论文的关键创新在于：1) 提出了InteractMove数据集，填补了可移动物体人机交互数据集的空白；2) 提出了手-物联合可供性学习方法，能够有效地预测手部和物体之间的接触区域，实现精确的抓取和操作；3) 结合局部场景建模和碰撞避免约束，保证了交互的物理合理性。

关键设计：在手-物联合可供性学习模块中，可能使用了图神经网络（GNN）来建模手部和物体之间的关系，并预测接触区域。损失函数可能包含接触区域预测损失、运动平滑性损失和碰撞惩罚项。在交互优化模块中，可能使用了基于优化的方法，例如迭代最近点（ICP）或序列二次规划（SQP），来调整手部和物体的姿态，以满足物理约束和避免碰撞。

📊 实验亮点

论文通过实验验证了所提出方法的有效性。实验结果表明，与现有方法相比，该方法能够生成更符合文本描述、更物理合理的交互动画。具体的性能数据（例如，交互准确率、物理合理性评分等）和对比基线（例如，基于规则的方法、基于学习的方法等）在论文中进行了详细的展示和分析。实验结果表明，该方法在各项指标上均优于现有方法，证明了其优越性。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发、机器人控制等领域。例如，在VR/AR游戏中，可以根据玩家的文本指令，生成逼真的人机交互动画，提升用户体验。在机器人控制领域，可以使机器人能够根据人类的指令，在复杂环境中完成各种操作任务，例如物体搬运、组装等。未来，该技术有望进一步发展，实现更自然、智能的人机交互。

📄 摘要（原文）

We propose a novel task of text-controlled human object interaction generation in 3D scenes with movable objects. Existing human-scene interaction datasets suffer from insufficient interaction categories and typically only consider interactions with static objects (do not change object positions), and the collection of such datasets with movable objects is difficult and costly. To address this problem, we construct the InteractMove dataset for Movable Human-Object Interaction in 3D Scenes by aligning existing human object interaction data with scene contexts, featuring three key characteristics: 1) scenes containing multiple movable objects with text-controlled interaction specifications (including same-category distractors requiring spatial and 3D scene context understanding), 2) diverse object types and sizes with varied interaction patterns (one-hand, two-hand, etc.), and 3) physically plausible object manipulation trajectories. With the introduction of various movable objects, this task becomes more challenging, as the model needs to identify objects to be interacted with accurately, learn to interact with objects of different sizes and categories, and avoid collisions between movable objects and the scene. To tackle such challenges, we propose a novel pipeline solution. We first use 3D visual grounding models to identify the interaction object. Then, we propose a hand-object joint affordance learning to predict contact regions for different hand joints and object parts, enabling accurate grasping and manipulation of diverse objects. Finally, we optimize interactions with local-scene modeling and collision avoidance constraints, ensuring physically plausible motions and avoiding collisions between objects and the scene. Comprehensive experiments demonstrate our method's superiority in generating physically plausible, text-compliant interactions compared to existing approaches.