ActiveLang: Active Open-Vocabulary 3D Mapping with Semantic-Uncertainty-Guided Exploration

📄 arXiv: 2610.09518v1 📥 PDF

作者: Liyan Chen, Hairong Yin, Huangying Zhan, Yi Xu, Raymond A. Yeh, Philippos Mordohai

分类: cs.CV, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出ActiveLang以解决开放词汇3D映射中的语义不确定性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇映射 语义理解 3D重建 主动探索 机器人技术

📋 核心要点

  1. 现有方法在处理开放词汇场景理解时，往往面临语义不确定性和高计算成本的挑战。
  2. ActiveLang通过语义不确定性引导的探索，结合在线语言特征适应，优化了3D映射的效率与准确性。
  3. 在Replica和ScanNet++数据集上，ActiveLang在2D和3D开放词汇分割上显著提升，验证了其有效性。

📝 摘要（中文）

随着机器人在多样化任务中对人类的辅助需求增加，它们需要对周围环境具备几何和语义理解能力。尤其是在未知环境中，机器人往往需要在没有预先了解相关概念的情况下执行新任务。这促使了语言注释的3D地图的需求，以支持开放词汇的场景理解和人机交互。本文介绍了ActiveLang，一个用于主动开放词汇3D映射的自主系统，采用语义不确定性引导的探索方法。ActiveLang通过紧凑的双高斯表示进行在线语言特征适应，能够以适度的内存开销共同重建场景几何、外观和开放词汇语义。其规划器有效选择信息丰富的视点，从而以更少的观测和较低的计算成本实现有效映射。实验结果表明，在Replica和ScanNet++数据集上，ActiveLang在2D和3D开放词汇分割方面显著优于在线和离线基线，表明主动探索场景能够更高效地构建语言注释的3D地图。

🔬 方法详解

问题定义：本文旨在解决在开放词汇3D映射中，机器人如何有效处理语义不确定性和高计算成本的问题。现有方法往往无法在未知环境中快速适应新任务，导致映射效率低下。

核心思路：ActiveLang的核心思路是通过语义不确定性引导的探索，结合在线语言特征适应，来实现对场景几何、外观和开放词汇语义的联合重建。这种设计使得系统能够在较低的内存开销下，灵活应对不同的环境和任务。

技术框架：ActiveLang的整体架构包括数据采集、语义特征提取、双高斯表示构建和信息视点选择等主要模块。系统首先通过传感器获取环境数据，然后提取语言特征并进行适应，最后规划出最优的视点进行高效映射。

关键创新：该研究的关键创新在于引入了语义不确定性引导的探索策略，显著提高了开放词汇场景的映射效率。这一方法与传统的被动映射方法相比，能够更主动地选择信息丰富的视点，降低了所需的观测数量。

关键设计：在技术细节上，ActiveLang采用了紧凑的双高斯表示来进行语义特征的适应，设计了高效的损失函数以优化重建质量，并通过规划算法选择最具信息量的视点，从而实现了高效的3D映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Replica和ScanNet++数据集上的实验结果显示，ActiveLang在2D和3D开放词汇分割上相比于在线和离线基线有显著提升，具体提升幅度达到XX%（具体数据待补充），验证了其在主动探索和高效映射方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、自动驾驶、无人机巡检等场景，能够提升机器人在复杂环境中的自主导航和任务执行能力。未来，随着技术的进步，ActiveLang有望在更广泛的领域中实现人机协作，推动智能机器人技术的发展。

📄 摘要（原文）

As robots increasingly assist humans with diverse tasks, they need both geometric and semantic understanding of their surroundings. Moreover, robots often operate in unfamiliar environments and take on new tasks without knowing the relevant concepts ahead of time. This motivates language-annotated 3D maps that support open-vocabulary scene understanding and human-robot interaction. We introduce ActiveLang, an autonomous system for active open-vocabulary 3D mapping with semantic-uncertainty-guided exploration. ActiveLang performs online language-feature adaptation on a compact dual-Gaussian representation to jointly reconstruct scene geometry, appearance, and open-vocabulary semantics with modest memory overhead. Its planner efficiently selects informative viewpoints, enabling effective mapping with fewer observations and lower computational cost. Experiments on Replica and ScanNet++ demonstrate substantial improvements in 2D and 3D open-vocabulary segmentation over both online and offline baselines, highlighting that actively exploring scenes builds language-annotated 3D maps more efficiently.