GNeSF: Generalizable Neural Semantic Fields
作者: Hanlin Chen, Chen Li, Mengqi Guo, Zhiwen Yan, Gim Hee Lee
分类: cs.CV
发布日期: 2023-10-24 (更新: 2023-10-26)
备注: NeurIPS 2023
🔗 代码/项目: GITHUB
💡 一句话要点
提出GNeSF以解决3D场景分割中的泛化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景分割 神经隐式表示 多视角特征 软投票机制 可见性模块 语义映射 泛化能力 深度学习
📋 核心要点
- 现有的3D场景分割方法依赖于逐场景优化，限制了其在新场景中的泛化能力。
- 本研究提出了一种基于隐式表示的可泛化3D分割框架，利用多视角图像特征和语义图作为输入。
- 实验结果显示，该方法在性能上与场景特定方法相当，且在仅使用2D注释的情况下，超越了强监督方法。
📝 摘要（中文）
基于神经隐式表示的3D场景分割近年来受到关注，因其仅需2D监督进行训练。然而，现有方法仍需昂贵的逐场景优化，限制了推理时对新场景的泛化能力。为此，我们提出了一种基于隐式表示的可泛化3D分割框架。该框架以多视角图像特征和语义图作为输入，避免对场景特定几何和语义信息的过拟合。我们提出了一种新颖的软投票机制，从不同视角聚合2D语义信息。此外，框架中还编码了视角差异信息，以预测投票分数，从而使邻近视角的语义信息贡献更大。通过可见性模块检测并过滤被遮挡视角的有害信息。实验结果表明，我们的方法在性能上与场景特定方法相当，且在仅使用2D注释的情况下，甚至超越了现有强监督方法。
🔬 方法详解
问题定义：本论文旨在解决现有3D场景分割方法在推理时对新场景泛化能力不足的问题。现有方法通常需要昂贵的逐场景优化，限制了其应用范围。
核心思路：我们提出了一种基于隐式表示的可泛化3D分割框架，通过多视角图像特征和语义图作为输入，避免对特定场景几何和语义信息的过拟合。
技术框架：该框架包括多个模块，首先输入多视角图像特征和语义图，然后通过软投票机制聚合不同视角的2D语义信息，最后利用可见性模块过滤遮挡视角的信息。
关键创新：本研究的创新点在于引入了软投票机制和可见性模块，使得邻近视角的信息对3D点的语义预测贡献更大，从而提高了模型的泛化能力。
关键设计：在网络结构中，我们设计了特定的损失函数来优化投票分数的预测，并通过编码视角差异信息来增强模型对不同视角的适应性。整体架构旨在提高对新场景的语义分割能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GNeSF在3D语义分割任务中与场景特定方法的性能相当，且在仅使用2D注释的情况下，超越了现有强监督方法，展示了其优越的泛化能力和实用性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等，能够在仅依赖2D语义监督的情况下，实现高效的3D场景理解。这将推动相关领域的技术进步，降低对昂贵标注数据的依赖。
📄 摘要（原文）
3D scene segmentation based on neural implicit representation has emerged recently with the advantage of training only on 2D supervision. However, existing approaches still requires expensive per-scene optimization that prohibits generalization to novel scenes during inference. To circumvent this problem, we introduce a generalizable 3D segmentation framework based on implicit representation. Specifically, our framework takes in multi-view image features and semantic maps as the inputs instead of only spatial information to avoid overfitting to scene-specific geometric and semantic information. We propose a novel soft voting mechanism to aggregate the 2D semantic information from different views for each 3D point. In addition to the image features, view difference information is also encoded in our framework to predict the voting scores. Intuitively, this allows the semantic information from nearby views to contribute more compared to distant ones. Furthermore, a visibility module is also designed to detect and filter out detrimental information from occluded views. Due to the generalizability of our proposed method, we can synthesize semantic maps or conduct 3D semantic segmentation for novel scenes with solely 2D semantic supervision. Experimental results show that our approach achieves comparable performance with scene-specific approaches. More importantly, our approach can even outperform existing strong supervision-based approaches with only 2D annotations. Our source code is available at: https://github.com/HLinChen/GNeSF.