AOV-GS: Active Open-Vocabulary Semantic Mapping with 3D Gaussian Splatting

📄 arXiv: 2610.29374v1 📥 PDF

作者: Rodion Shkokov, Tatiana Zemskova, Dmitry Yudin

分类: cs.CV, cs.RO

发布日期: 2026-10-21

备注: 17 pages, 7 figures, 7 tables. Published at AIST 2026

期刊: AIST 2026, Lecture Notes in Computer Science, vol. 16795, pp. 312-328, Springer, Cham (2027)

DOI: 10.1007/978-3-032-41546-2_20

🔗 代码/项目: GITHUB

💡 一句话要点

提出AOV-GS以解决开放词汇语义映射问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇 语义映射 主动探索 3D高斯映射 机器人导航 几何信息 深度学习 实例分割

📋 核心要点

  1. 现有的几何驱动主动映射方法未能有效整合语义信息，通常将其视为被动结果，缺乏开放词汇的支持。
  2. AOV-GS通过使用冻结的基础模型，结合几何信息和语义信息，优化探索过程，提升语义映射的质量。
  3. 在实验中，AOV-GS在Replica和Matterport3D数据集上分别提高了1.3和1.8个百分点的语言场mIoU，显示出显著的性能提升。

📝 摘要（中文）

在以人为中心的环境中部署的机器人需要支持几何导航和开放词汇语义查询的地图。关键挑战在于如何在不依赖手动标注的分割掩膜或封闭语义类别的情况下丰富这些地图的语义信息。现有的几何驱动主动映射方法虽然最大化覆盖率，但将语义视为收集轨迹的被动副产品，而主动语义映射通常依赖于监督的语义分割。本文提出的AOV-GS是一种主动的3D高斯映射系统，通过冻结的基础模型引导探索。在粗略探索阶段，AOV-GS根据从SAM实例分割计算的CLIP掩膜嵌入的新颖性重新排序几何上有前景的候选视图，偏向于语义信息丰富的区域。

🔬 方法详解

问题定义：本文旨在解决在开放词汇环境中进行有效的语义映射问题。现有方法通常依赖于手动标注的分割掩膜或封闭的语义类别，限制了其灵活性和适用性。

核心思路：AOV-GS通过结合几何信息和语义信息，利用冻结的基础模型（如SAM和CLIP）来引导探索过程，确保在收集数据时能够获取丰富的语义信息。

技术框架：AOV-GS的整体架构包括粗略探索阶段和语义信息整合阶段。在粗略探索中，系统根据几何候选视图的潜力和语义新颖性进行排序，偏向于语义信息丰富的区域。

关键创新：AOV-GS的主要创新在于使用冻结的基础模型进行开放词汇的文本查询分割，而不是依赖手动标注的掩膜。这一方法使得系统能够在新视图上进行灵活的语义映射。

关键设计：在设计中，AOV-GS使用了轻量级的场景特定语言场，直接拟合收集到的CLIP嵌入，而非手动标注的掩膜。此外，系统在损失函数和网络结构上进行了优化，以确保在不同数据集上的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对比实验中，AOV-GS在Replica数据集上实现了34.6%的语言场mIoU，比仅依赖几何的主动规划提高了1.3个百分点；在Matterport3D上提升了1.8个百分点，达到23.1%。使用CorrCLIP时，AOV-GS在Replica上达到了35.6%，比基线提高了2.0个百分点，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能家居、自动驾驶等人机交互密集的环境。通过实现开放词汇的语义映射，AOV-GS能够在动态和复杂的环境中提供更灵活的导航和查询能力，提升用户体验和系统效率。

📄 摘要（原文）

Robots deployed in human-centered environments need maps that support both geometric navigation and open-vocabulary semantic queries beyond a fixed label set. A key challenge is enriching such maps with semantic information without relying on manually annotated segmentation masks or closed-set semantic categories. Existing geometry-driven active mapping maximizes coverage but treats semantics as a passive by-product of the collected trajectory, whereas active semantic mapping typically depends on supervised semantic segmentation. We present AOV-GS, an active 3D Gaussian mapping system that guides exploration using frozen foundation models. During coarse exploration, AOV-GS re-ranks geometrically promising candidate views according to CLIP mask-embedding novelty computed from SAM instance segmentation, biasing exploration toward semantically informative regions. Frozen SAM and CLIP provide instance masks and language-aligned embeddings throughout mapping, while a lightweight scene-specific language field is fitted offline directly to the collected CLIP embeddings rather than manually annotated masks, enabling open-vocabulary text-query segmentation on novel views. In a controlled comparison using the same SAM-CLIP perception stack, AOV-GS improves average language-field mIoU over geometry-only active planning by 1.3 percentage points on Replica (34.6% on eight scenes) and by 1.8 points on Matterport3D (23.1% on five scenes). With CorrCLIP, AOV-GS reaches 35.6% on Replica, 2.0 points above the matched Geometry-based + CorrCLIP baseline. Novel-view PSNR remains comparable to the geometry-only baseline on both datasets while depth L1 improves on Replica. Code is available at https://github.com/OptimusFaber/AOV-GS.