Mesh-based Object Tracking for Dynamic Semantic 3D Scene Graphs via Ray Tracing

📄 arXiv: 2408.04979v1 📥 PDF

作者: Lennart Niecksch, Alexander Mock, Felix Igelbrink, Thomas Wiemann, Joachim Hertzberg

分类: cs.RO

发布日期: 2024-08-09

期刊: RSS Workshop on Semantics for Robotics: From Environment Understanding and Reasoning to Safe Interaction 2024

💡 一句话要点

提出基于射线追踪的网格物体跟踪方法，用于动态语义3D场景图构建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景图 物体跟踪 射线追踪 语义SLAM 机器人视觉

📋 核心要点

  1. 现有方法在物体遮挡情况下，3D场景图构建的鲁棒性不足，影响了后续的空间推理。
  2. 利用YOLOv8s进行物体检测，结合PnP算法估计位姿，并使用射线追踪方法跟踪物体网格模型，提升鲁棒性。
  3. 实验证明，该方法实现了鲁棒的自定位、数据预分割和精确的物体位姿跟踪，并构建了可用于空间推理的语义场景图。

📝 摘要（中文）

本文提出了一种利用深度传感器和RGB相机生成3D几何场景图的新方法。首先，使用YOLOv8s模型检测实例级别的关键点，并通过求解PnP算法计算已知物体的6D位姿估计。然后，采用射线追踪方法跟踪由物体实例的网格模型组成的几何场景图。与传统的点对点匹配相比，这种方法能够提供更鲁棒的结果，尤其是在物体实例之间存在遮挡的情况下。实验表明，这种混合策略能够实现鲁棒的自定位、深度传感器数据的预分割以及物体的精确位姿跟踪，所有检测到的物体都被集成到语义场景图中，该场景图作为语义映射框架的前端，从而实现空间推理。

🔬 方法详解

问题定义：论文旨在解决在动态环境中，由于物体遮挡等问题导致的3D场景图构建不准确的问题。现有的点对点匹配方法在遮挡情况下容易失效，导致位姿估计不准确，进而影响整个场景图的质量。

核心思路：论文的核心思路是利用射线追踪技术，将物体表示为网格模型，通过计算射线与网格的交点来跟踪物体。这种方法能够更好地处理遮挡情况，因为即使部分网格被遮挡，仍然可以通过其他可见部分进行位姿估计。

技术框架：该方法主要包含以下几个阶段：1) 使用YOLOv8s模型进行物体检测，获取物体实例的关键点；2) 通过求解PnP算法，利用关键点信息估计物体的6D位姿；3) 构建由物体网格模型组成的几何场景图；4) 使用射线追踪方法，跟踪场景图中的物体，并更新其位姿；5) 将检测到的物体集成到语义场景图中，用于空间推理。

关键创新：该方法最重要的创新点在于使用射线追踪技术进行物体跟踪，而不是传统的点对点匹配。射线追踪能够更好地处理遮挡情况，提高位姿估计的鲁棒性。此外，将几何场景图与语义信息相结合，构建了可用于空间推理的语义场景图。

关键设计：YOLOv8s模型的选择影响物体检测的精度和速度。PnP算法的选择和参数设置会影响位姿估计的准确性。射线追踪算法的效率和精度是关键，需要考虑射线与网格的求交算法以及优化策略。语义场景图的构建方式，包括节点和边的定义，也会影响空间推理的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出方法的有效性。与传统的点对点匹配方法相比，该方法在物体遮挡情况下能够提供更鲁棒的位姿估计结果。实验结果表明，该方法能够实现鲁棒的自定位、深度传感器数据的预分割以及物体的精确位姿跟踪。具体性能数据未知，但摘要强调了在遮挡情况下的优势。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、自动驾驶等领域。在机器人导航中，可以利用场景图进行环境理解和路径规划。在增强现实中，可以实现虚拟物体与真实场景的精确对齐。在自动驾驶中，可以提高车辆对周围环境的感知能力，从而提高驾驶安全性。

📄 摘要（原文）

In this paper, we present a novel method for 3D geometric scene graph generation using range sensors and RGB cameras. We initially detect instance-wise keypoints with a YOLOv8s model to compute 6D pose estimates of known objects by solving PnP. We use a ray tracing approach to track a geometric scene graph consisting of mesh models of object instances. In contrast to classical point-to-point matching, this leads to more robust results, especially under occlusions between objects instances. We show that using this hybrid strategy leads to robust self-localization, pre-segmentation of the range sensor data and accurate pose tracking of objects using the same environmental representation. All detected objects are integrated into a semantic scene graph. This scene graph then serves as a front end to a semantic mapping framework to allow spatial reasoning.