Point2Graph: An End-to-end Point Cloud-based 3D Open-Vocabulary Scene Graph for Robot Navigation

📄 arXiv: 2409.10350v1 📥 PDF

作者: Yifan Xu, Ziming Luo, Qianwei Wang, Vineet Kamat, Carol Menassa

分类: cs.RO, cs.AI, cs.CV

发布日期: 2024-09-16

备注: 8 pages, 9 figures

💡 一句话要点

提出Point2Graph，仅用点云数据生成3D开放词汇场景图，用于机器人导航。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云 场景图生成 机器人导航 开放词汇 三维场景理解

📋 核心要点

  1. 现有开放词汇场景图生成算法依赖RGB-D图像和相机姿态，限制了其在数据受限场景的应用。
  2. Point2Graph仅使用点云数据，通过分层结构实现房间和物体的检测、分割与开放词汇分类。
  3. 实验结果表明，Point2Graph在开放词汇物体和房间分割与分类任务上优于现有SOTA算法。

📝 摘要（中文）

本文提出Point2Graph，一个新颖的端到端点云3D开放词汇场景图生成框架，旨在解决当前算法对RGB-D图像和相机姿态的依赖问题，从而扩展其在RGB-D图像或相机姿态不可用场景中的应用。该框架采用分层结构，包含房间和物体的检测/分割以及开放词汇分类。在房间层，融合了基于几何的边界检测算法和基于学习的区域检测算法，提出了“Snap-Lookup”框架用于开放词汇房间分类。此外，构建了一个端到端流程，仅基于3D点云数据检测和分类3D物体。评估结果表明，该框架在广泛使用的真实场景数据集上优于当前最先进的开放词汇物体和房间分割与分类算法。

🔬 方法详解

问题定义：现有3D开放词汇场景图生成方法依赖于RGB-D图像和相机位姿信息，这在许多实际应用中是难以满足的。例如，在光照条件差、传感器故障或缺乏相机标定的情况下，RGB-D数据质量会严重下降，甚至无法获取。因此，如何仅利用3D点云数据生成高质量的场景图是一个重要的挑战。

核心思路：Point2Graph的核心思路是构建一个完全基于点云数据的端到端场景图生成框架，从而消除对RGB-D图像和相机位姿的依赖。该方法通过分层结构，分别处理房间和物体，并利用几何信息和学习方法相结合的方式，提高分割和分类的准确性。

技术框架：Point2Graph框架包含两个主要层级：房间层和物体层。在房间层，首先利用几何边界检测算法和基于学习的区域检测算法分割房间，然后使用“Snap-Lookup”框架进行开放词汇房间分类。在物体层，构建一个端到端的流程，直接从点云数据中检测和分类3D物体。整个框架无需RGB-D图像或相机位姿信息，仅依赖点云数据即可生成场景图。

关键创新：Point2Graph的关键创新在于其完全基于点云数据的场景图生成方法，以及“Snap-Lookup”框架在开放词汇房间分类中的应用。与现有方法相比，Point2Graph无需RGB-D图像和相机位姿，具有更强的鲁棒性和适用性。此外，将几何信息和学习方法相结合，提高了房间分割的准确性。

关键设计：在房间层，几何边界检测算法用于提取房间的几何特征，基于学习的区域检测算法用于识别房间的语义信息。 “Snap-Lookup”框架利用预训练的视觉语言模型，将房间的几何特征和语义信息映射到开放词汇空间，从而实现房间的分类。在物体层，采用PointNet++等点云处理网络进行物体检测和分类。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述（未知）。

📊 实验亮点

Point2Graph在真实场景数据集上取得了优于现有SOTA算法的性能。具体而言，在开放词汇物体分割和分类任务上，Point2Graph的性能指标（具体数值未知）显著优于现有方法。在开放词汇房间分割和分类任务上，Point2Graph通过融合几何信息和学习方法，提高了分割和分类的准确性，取得了更好的效果（具体数值未知）。

🎯 应用场景

Point2Graph在机器人导航、室内场景理解、虚拟现实等领域具有广泛的应用前景。例如，在机器人导航中，可以利用Point2Graph生成的场景图，帮助机器人理解周围环境，规划路径，并与环境中的物体进行交互。在室内场景理解中，可以利用Point2Graph自动生成场景的语义描述，用于场景重建、物体识别等任务。在虚拟现实中，可以利用Point2Graph快速构建虚拟场景，提高用户体验。

📄 摘要（原文）

Current open-vocabulary scene graph generation algorithms highly rely on both 3D scene point cloud data and posed RGB-D images and thus have limited applications in scenarios where RGB-D images or camera poses are not readily available. To solve this problem, we propose Point2Graph, a novel end-to-end point cloud-based 3D open-vocabulary scene graph generation framework in which the requirement of posed RGB-D image series is eliminated. This hierarchical framework contains room and object detection/segmentation and open-vocabulary classification. For the room layer, we leverage the advantage of merging the geometry-based border detection algorithm with the learning-based region detection to segment rooms and create a "Snap-Lookup" framework for open-vocabulary room classification. In addition, we create an end-to-end pipeline for the object layer to detect and classify 3D objects based solely on 3D point cloud data. Our evaluation results show that our framework can outperform the current state-of-the-art (SOTA) open-vocabulary object and room segmentation and classification algorithm on widely used real-scene datasets.