REACT3D: Recovering Articulations for Interactive Physical 3D Scenes

📄 arXiv: 2510.11340v2 📥 PDF

作者: Zhao Huang, Boyang Sun, Alexandros Delitzas, Jiaqi Chen, Marc Pollefeys

分类: cs.CV, cs.RO

发布日期: 2025-10-13 (更新: 2025-10-14)

备注: 8 pages

💡 一句话要点

REACT3D：用于交互式物理3D场景的铰接结构恢复框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 交互式场景生成 铰接结构恢复 零样本学习 3D场景理解 物理仿真

📋 核心要点

  1. 现有交互式3D场景数据集缺乏部件分割、运动学类型和运动轨迹的标注，限制了具身智能的发展。
  2. REACT3D通过可打开对象检测、铰接估计、隐藏几何补全和交互式对象组装，将静态3D场景转化为可交互的仿真环境。
  3. 该框架在室内场景的检测、分割和铰接指标上取得了领先性能，为大规模交互式场景理解研究奠定了基础。

📝 摘要（中文）

交互式3D场景在具身智能中日益重要，但现有数据集在部件分割、运动学类型和运动轨迹的标注方面仍然受限，因为标注过程非常耗费人力。我们提出了REACT3D，一个可扩展的零样本框架，可以将静态3D场景转换为可用于仿真的交互式副本，并保持几何一致性，从而可以直接用于各种下游任务。我们的贡献包括：（i）可打开对象检测和分割，以从静态场景中提取候选可移动部件；（ii）铰接估计，推断关节类型和运动参数；（iii）隐藏几何补全，然后进行交互式对象组装；（iv）以广泛支持的格式进行交互式场景集成，以确保与标准仿真平台的兼容性。我们在各种室内场景的检测/分割和铰接指标上实现了最先进的性能，证明了我们框架的有效性，并为可扩展的交互式场景生成提供了实践基础，从而降低了对铰接场景理解进行大规模研究的门槛。我们的项目页面是https://react3d.github.io/

🔬 方法详解

问题定义：论文旨在解决将静态3D场景转换为可交互的、可用于物理仿真的场景的问题。现有方法需要大量的人工标注，包括部件分割、运动学类型和运动轨迹等，这限制了数据集的规模和多样性。因此，如何自动且高效地从静态3D场景中恢复出交互所需的铰接信息是一个关键挑战。

核心思路：REACT3D的核心思路是利用零样本学习的方式，通过一系列模块化的步骤，自动地从静态3D场景中推断出可移动部件、关节类型和运动参数，并完成隐藏几何的补全，最终将场景组装成可交互的物理仿真环境。这种方法避免了人工标注的需要，从而可以扩展到更大规模的场景。

技术框架：REACT3D框架包含以下主要模块：(1) 可打开对象检测和分割：从静态场景中提取候选可移动部件。(2) 铰接估计：推断关节类型和运动参数。(3) 隐藏几何补全：补全被遮挡的几何信息。(4) 交互式对象组装：将各个部件组装成完整的交互式场景。整个流程将静态场景作为输入，输出可用于仿真的交互式场景。

关键创新：REACT3D的关键创新在于其零样本的学习方式，以及将交互式场景生成分解为多个可独立优化的模块。通过这种模块化的设计，REACT3D可以灵活地处理各种不同的场景，并且可以方便地集成新的技术。与现有方法相比，REACT3D不需要人工标注，因此可以扩展到更大规模的数据集。

关键设计：论文中没有详细描述关键参数设置、损失函数、网络结构等技术细节，这些信息可能在补充材料或后续工作中给出。但是，可以推测，铰接估计模块可能使用了几何约束、物理约束或运动学约束来优化关节类型和运动参数。隐藏几何补全模块可能使用了深度学习的方法，例如生成对抗网络（GAN）或变分自编码器（VAE），来生成缺失的几何信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REACT3D在各种室内场景的检测/分割和铰接指标上实现了最先进的性能，证明了该框架的有效性。具体性能数据和对比基线在论文中没有明确给出，但摘要强调了其在铰接场景理解方面的优越性，并为可扩展的交互式场景生成奠定了基础。

🎯 应用场景

REACT3D在机器人导航、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于生成大规模的交互式3D环境，从而为机器人提供更真实的训练环境，提高机器人的环境适应能力和交互能力。此外，REACT3D还可以用于创建更逼真的虚拟现实体验，以及为游戏开发提供更丰富的场景资源。

📄 摘要（原文）

Interactive 3D scenes are increasingly vital for embodied intelligence, yet existing datasets remain limited due to the labor-intensive process of annotating part segmentation, kinematic types, and motion trajectories. We present REACT3D, a scalable zero-shot framework that converts static 3D scenes into simulation-ready interactive replicas with consistent geometry, enabling direct use in diverse downstream tasks. Our contributions include: (i) openable-object detection and segmentation to extract candidate movable parts from static scenes, (ii) articulation estimation that infers joint types and motion parameters, (iii) hidden-geometry completion followed by interactive object assembly, and (iv) interactive scene integration in widely supported formats to ensure compatibility with standard simulation platforms. We achieve state-of-the-art performance on detection/segmentation and articulation metrics across diverse indoor scenes, demonstrating the effectiveness of our framework and providing a practical foundation for scalable interactive scene generation, thereby lowering the barrier to large-scale research on articulated scene understanding. Our project page is https://react3d.github.io/