FROSS: Faster-than-Real-Time Online 3D Semantic Scene Graph Generation from RGB-D Images

📄 arXiv: 2507.19993v2 📥 PDF

作者: Hao-Yu Hou, Chun-Yi Lee, Motoharu Sonogashira, Yasutomo Kawanishi

分类: cs.CV

发布日期: 2025-07-26 (更新: 2025-08-10)

备注: International Conference on Computer Vision (ICCV 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

FROSS：基于RGB-D图像的快速在线3D语义场景图生成方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义场景图 RGB-D图像 在线生成 实时性 3D高斯分布 场景理解 机器人导航

📋 核心要点

  1. 现有3D语义场景图生成方法计算量大，非增量式处理，难以应用于实时开放世界场景。
  2. FROSS将2D场景图直接提升到3D空间，用3D高斯分布表示对象，无需复杂的点云处理。
  3. 实验表明，FROSS在性能上优于现有方法，且速度更快，并在ReplicaSSG和3DSSG数据集上进行了验证。

📝 摘要（中文）

本文提出了一种名为FROSS（Faster-than-Real-Time Online 3D Semantic Scene Graph Generation）的创新方法，用于在线且快于实时的3D语义场景图（SSG）生成。该方法通过将2D场景图直接提升到3D空间，并将对象表示为3D高斯分布，从而避免了对精确且计算密集型点云处理的依赖。此外，我们通过添加对象间关系注释扩展了Replica数据集，创建了ReplicaSSG数据集，用于全面评估FROSS。在ReplicaSSG和3DSSG数据集上的实验结果表明，FROSS能够实现卓越的性能，同时运行速度明显快于先前的3D SSG生成方法。我们的实现和数据集已在https://github.com/Howardkhh/FROSS上公开。

🔬 方法详解

问题定义：现有3D语义场景图生成方法面临计算量大和非增量处理的挑战，难以满足实时开放世界应用的需求。这些方法通常依赖于精确的点云处理，计算复杂度高，限制了其应用范围。

核心思路：FROSS的核心思路是将2D场景图的信息直接提升到3D空间，避免了对复杂3D点云数据的直接处理。通过将对象表示为3D高斯分布，简化了3D场景的建模，从而显著降低了计算复杂度。

技术框架：FROSS框架主要包含以下几个阶段：1) 从RGB-D图像中提取2D场景图；2) 将2D场景图中的对象信息映射到3D空间，并用3D高斯分布表示；3) 基于3D高斯分布进行对象间的关系推理，生成3D语义场景图。整个过程是在线和增量的，可以实时更新场景图。

关键创新：FROSS的关键创新在于直接利用2D场景图信息进行3D场景图的构建，避免了对复杂点云数据的处理。与传统方法相比，FROSS无需进行点云分割、配准等耗时操作，从而实现了更快的处理速度。此外，使用3D高斯分布表示对象，简化了3D场景的建模。

关键设计：FROSS的关键设计包括：1) 2D场景图到3D空间的映射方法，需要考虑相机位姿和深度信息的准确性；2) 3D高斯分布的参数估计方法，需要保证对象表示的准确性和鲁棒性；3) 对象间关系推理的策略，需要考虑对象间的空间关系和语义关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FROSS在ReplicaSSG和3DSSG数据集上进行了评估，实验结果表明，FROSS在性能上优于现有的3D语义场景图生成方法，并且速度更快。具体来说，FROSS在生成速度上比现有方法快数倍，同时保持了较高的场景图质量。这些结果验证了FROSS在实时性和准确性方面的优势。

🎯 应用场景

FROSS在机器人导航、增强现实、虚拟现实等领域具有广泛的应用前景。它可以帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。在AR/VR应用中，FROSS可以用于构建逼真的3D场景，提升用户体验。此外，该方法还可以应用于自动驾驶、智能家居等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

The ability to abstract complex 3D environments into simplified and structured representations is crucial across various domains. 3D semantic scene graphs (SSGs) achieve this by representing objects as nodes and their interrelationships as edges, facilitating high-level scene understanding. Existing methods for 3D SSG generation, however, face significant challenges, including high computational demands and non-incremental processing that hinder their suitability for real-time open-world applications. To address this issue, we propose FROSS (Faster-than-Real-Time Online 3D Semantic Scene Graph Generation), an innovative approach for online and faster-than-real-time 3D SSG generation that leverages the direct lifting of 2D scene graphs to 3D space and represents objects as 3D Gaussian distributions. This framework eliminates the dependency on precise and computationally-intensive point cloud processing. Furthermore, we extend the Replica dataset with inter-object relationship annotations, creating the ReplicaSSG dataset for comprehensive evaluation of FROSS. The experimental results from evaluations on ReplicaSSG and 3DSSG datasets show that FROSS can achieve superior performance while operating significantly faster than prior 3D SSG generation methods. Our implementation and dataset are publicly available at https://github.com/Howardkhh/FROSS.