DiSCO-3D : Discovering and segmenting Sub-Concepts from Open-vocabulary queries in NeRF

📄 arXiv: 2507.14596v1 📥 PDF

作者: Doriand Petit, Steve Bourgeois, Vincent Gay-Bellile, Florian Chabot, Loïc Barthe

分类: cs.CV

发布日期: 2025-07-19

备注: Published at ICCV'25

💡 一句话要点

DiSCO-3D：提出一种基于NeRF的开放词汇子概念发现与分割方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义分割 神经辐射场 开放词汇 无监督学习 子概念发现

📋 核心要点

  1. 现有3D语义分割方法难以同时适应特定任务目标和场景内容，限制了其通用性。
  2. DiSCO-3D结合无监督分割和弱开放词汇指导，利用神经场表示实现自适应的3D语义分割。
  3. 实验表明，DiSCO-3D在开放词汇子概念发现上表现优异，并在特定任务上达到SOTA。

📝 摘要（中文）

本文提出DiSCO-3D，一种解决3D开放词汇子概念发现问题的全新方法。该方法旨在提供一种能够适应场景内容和用户查询的3D语义分割。传统的3D语义分割方法通常只专注于特定任务目标（如开放词汇分割）或场景内容（如无监督语义分割）。DiSCO-3D基于神经场表示，结合了无监督分割和弱开放词汇指导。实验结果表明，DiSCO-3D在开放词汇子概念发现方面表现出色，并在开放词汇分割和无监督分割这两种边缘情况下取得了最先进的结果。

🔬 方法详解

问题定义：论文旨在解决3D场景中开放词汇子概念的发现与分割问题。现有方法要么专注于特定任务（如开放词汇分割），要么专注于场景内容（如无监督分割），缺乏同时适应性和泛化能力。这些方法无法根据用户查询灵活地发现和分割场景中的特定子概念。

核心思路：DiSCO-3D的核心思路是将无监督分割与弱开放词汇指导相结合，利用神经场（NeRF）表示来学习场景的语义信息。通过无监督分割，模型可以自动发现场景中的潜在语义区域；通过开放词汇指导，模型可以根据用户查询将这些区域与特定的子概念关联起来。

技术框架：DiSCO-3D的整体框架包含以下几个主要模块：1) 基于NeRF的场景表示模块，用于学习场景的几何和外观信息；2) 无监督分割模块，用于将场景分割成多个语义区域；3) 开放词汇指导模块，利用预训练的视觉-语言模型（如CLIP）将用户查询与场景区域关联起来；4) 分割优化模块，用于优化分割结果，使其既符合无监督分割的先验，又符合开放词汇指导的信息。

关键创新：DiSCO-3D的关键创新在于它首次提出了3D开放词汇子概念发现的问题，并提供了一种有效的解决方案。与现有方法相比，DiSCO-3D能够同时适应场景内容和用户查询，实现更灵活和通用的3D语义分割。此外，DiSCO-3D将无监督分割和开放词汇指导相结合，充分利用了两种信息的优势。

关键设计：在无监督分割模块中，论文可能采用了基于聚类的算法，例如k-means或GMM，来将NeRF表示的特征空间划分为多个区域。在开放词汇指导模块中，论文可能使用了对比学习的方法，来学习场景区域和用户查询之间的相似度。损失函数可能包含无监督分割损失（例如，鼓励区域内部特征一致性）和开放词汇指导损失（例如，鼓励相关区域和查询之间的相似度）。具体的网络结构和参数设置未知，需要参考论文细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiSCO-3D在开放词汇子概念发现任务上表现出色，并在开放词汇分割和无监督分割这两个边缘任务上取得了state-of-the-art的结果。具体的性能数据和对比基线未知，需要在论文中查找。该方法展示了在复杂3D场景中进行细粒度语义理解的潜力。

🎯 应用场景

DiSCO-3D在机器人、自动驾驶、增强现实等领域具有广泛的应用前景。例如，在机器人导航中，机器人可以根据用户指令（如“找到红色的椅子”）快速定位和识别目标物体。在自动驾驶中，系统可以根据场景理解和用户需求进行更智能的决策。该研究有望推动3D场景理解和人机交互技术的发展。

📄 摘要（原文）

3D semantic segmentation provides high-level scene understanding for applications in robotics, autonomous systems, \textit{etc}. Traditional methods adapt exclusively to either task-specific goals (open-vocabulary segmentation) or scene content (unsupervised semantic segmentation). We propose DiSCO-3D, the first method addressing the broader problem of 3D Open-Vocabulary Sub-concepts Discovery, which aims to provide a 3D semantic segmentation that adapts to both the scene and user queries. We build DiSCO-3D on Neural Fields representations, combining unsupervised segmentation with weak open-vocabulary guidance. Our evaluations demonstrate that DiSCO-3D achieves effective performance in Open-Vocabulary Sub-concepts Discovery and exhibits state-of-the-art results in the edge cases of both open-vocabulary and unsupervised segmentation.