RT-GS2: Real-Time Generalizable Semantic Segmentation for 3D Gaussian Representations of Radiance Fields

📄 arXiv: 2405.18033v2 📥 PDF

作者: Mihnea-Bogdan Jurca, Remco Royen, Ion Giosan, Adrian Munteanu

分类: cs.CV

发布日期: 2024-05-28 (更新: 2024-08-30)

备注: Accepted paper at BMVC 2024

💡 一句话要点

RT-GS2：首个用于3D高斯辐射场实时通用语义分割方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 语义分割 辐射场 实时渲染 通用性 自监督学习 视角一致性

📋 核心要点

  1. 现有基于高斯溅射的语义分割方法依赖于特定场景训练，泛化能力不足，限制了其应用范围。
  2. RT-GS2通过自监督学习视角无关的3D高斯特征，并结合VDVI特征融合，提升了跨视角的语义一致性和泛化性。
  3. 实验表明，RT-GS2在多个数据集上显著提升了语义分割精度，并在Replica数据集上mIoU提升8.01%，同时实现了实时性能。

📝 摘要（中文）

本文提出RT-GS2，一种基于高斯溅射的实时通用语义分割方法。现有方法依赖于特定场景的训练，而RT-GS2能够泛化到未见过的场景。该方法首先以自监督方式提取与视角无关的3D高斯特征，然后采用一种新颖的视角相关/视角无关(VDVI)特征融合方法，以增强不同视角下的语义一致性。在三个不同的数据集上进行的大量实验表明，RT-GS2在语义分割质量方面优于现有技术，在Replica数据集上的mIoU提高了8.01%。此外，我们的方法实现了27.03 FPS的实时性能，比现有方法快901倍。这项工作代表了该领域的重大进步，据我们所知，它首次引入了用于辐射场的3D高斯表示的实时通用语义分割方法。

🔬 方法详解

问题定义：现有基于高斯溅射的语义分割方法通常需要针对特定场景进行训练，导致模型难以泛化到新的、未见过的场景中。这种场景依赖性限制了这些方法在实际应用中的适用性，尤其是在需要处理各种不同环境的机器人和自动驾驶等领域。因此，如何实现一种能够泛化到不同场景的实时语义分割方法是一个关键问题。

核心思路：RT-GS2的核心思路是解耦视角相关和视角无关的特征，从而提高模型的泛化能力。具体来说，首先通过自监督学习提取与视角无关的3D高斯特征，这些特征能够捕捉场景的内在几何和语义信息。然后，引入视角相关特征，用于弥补视角无关特征的不足，并增强分割结果的视角一致性。通过这种方式，模型能够更好地适应不同的视角和场景变化。

技术框架：RT-GS2的整体框架主要包含以下几个阶段：1) 3D高斯表示：使用3D高斯溅射来表示场景；2) 自监督特征提取：通过自监督学习提取与视角无关的3D高斯特征；3) VDVI特征融合：将视角相关和视角无关的特征进行融合，以增强语义一致性；4) 语义分割：使用融合后的特征进行语义分割。

关键创新：RT-GS2的关键创新在于其通用性。与以往方法不同，RT-GS2不需要针对特定场景进行训练，而是能够直接应用于新的、未见过的场景。这种通用性是通过自监督学习和VDVI特征融合来实现的。此外，RT-GS2还实现了实时性能，使其能够应用于需要实时处理的场景。

关键设计：在自监督特征提取方面，论文可能采用了对比学习或掩码自编码器等方法，以学习到具有判别性的3D高斯特征。VDVI特征融合模块的具体结构未知，但推测可能使用了注意力机制或门控机制，以自适应地融合视角相关和视角无关的特征。损失函数的设计也至关重要，可能包括分割损失、自监督损失以及正则化项，以保证模型的性能和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RT-GS2在三个数据集上进行了评估，结果表明其在语义分割质量方面优于现有技术。特别是在Replica数据集上，RT-GS2的mIoU比现有方法提高了8.01%。更重要的是，RT-GS2实现了27.03 FPS的实时性能，比现有方法快901倍，使其成为首个用于3D高斯辐射场的实时通用语义分割方法。

🎯 应用场景

RT-GS2在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。例如，在机器人导航中，RT-GS2可以帮助机器人理解周围环境，从而实现更智能的路径规划和避障。在自动驾驶中，RT-GS2可以用于实时感知车辆周围的物体，提高驾驶安全性。在增强现实中，RT-GS2可以用于将虚拟物体与真实场景进行无缝融合，提升用户体验。

📄 摘要（原文）

Gaussian Splatting has revolutionized the world of novel view synthesis by achieving high rendering performance in real-time. Recently, studies have focused on enriching these 3D representations with semantic information for downstream tasks. In this paper, we introduce RT-GS2, the first generalizable semantic segmentation method employing Gaussian Splatting. While existing Gaussian Splatting-based approaches rely on scene-specific training, RT-GS2 demonstrates the ability to generalize to unseen scenes. Our method adopts a new approach by first extracting view-independent 3D Gaussian features in a self-supervised manner, followed by a novel View-Dependent / View-Independent (VDVI) feature fusion to enhance semantic consistency over different views. Extensive experimentation on three different datasets showcases RT-GS2's superiority over the state-of-the-art methods in semantic segmentation quality, exemplified by a 8.01% increase in mIoU on the Replica dataset. Moreover, our method achieves real-time performance of 27.03 FPS, marking an astonishing 901 times speedup compared to existing approaches. This work represents a significant advancement in the field by introducing, to the best of our knowledge, the first real-time generalizable semantic segmentation method for 3D Gaussian representations of radiance fields.