FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment
作者: Sebastián Barbas Laina, Simon Boche, Sotiris Papatheodorou, Simon Schaefer, Jaehyung Jung, Stefan Leutenegger
分类: cs.RO, cs.AI, cs.CV
发布日期: 2025-04-11 (更新: 2025-05-08)
备注: 11 pages, 5 figures
💡 一句话要点
FindAnything：提出开放词汇和以对象为中心的建图框架，用于机器人探索任意环境。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人探索 开放词汇语义 视觉-语言融合 三维重建 SLAM 体素地图 自然语言查询
📋 核心要点
- 现有方法难以在大型未知环境中进行实时、开放词汇的语义理解，阻碍了机器人更高级别的导航和任务规划。
- FindAnything框架将视觉-语言信息融入到密集体积子地图中，弥合了几何信息和开放词汇语义信息之间的鸿沟。
- 该系统在Replica数据集上实现了最先进的语义精度，并成功部署在资源受限的MAV上，用于现实世界的机器人任务。
📝 摘要（中文）
本文提出FindAnything，一个开放世界的建图和探索框架，它将视觉-语言信息融入到密集体积子地图中。FindAnything利用视觉-语言特征，弥合了纯几何信息和开放词汇语义信息之间的差距，从而实现更高层次的理解，并允许在没有任何外部位姿真值信息的情况下探索任何环境。系统将环境表示为一系列体素占据子地图，形成一个鲁棒且精确的地图表示，当底层SLAM系统校正漂移时，该地图会随位姿更新而变形，从而实现子地图之间局部一致的表示。像素级的视觉-语言特征从高效的SAM (eSAM) 生成的分割中聚合，然后集成到以对象为中心的体素子地图中，从而提供从开放词汇查询到3D几何的映射，并且在内存使用方面也是可扩展的。FindAnything的开放词汇地图表示在Replica数据集的封闭集评估中实现了最先进的语义精度。这种程度的场景理解允许机器人根据通过自然语言查询选择的对象或区域来探索环境。我们的系统是同类系统中第一个部署在资源受限设备（如MAV）上的系统，利用视觉-语言信息进行现实世界的机器人任务。
🔬 方法详解
问题定义：现有机器人探索方法通常依赖于纯几何信息或有限的语义信息，难以理解复杂环境中的物体和场景。在大型未知环境中进行实时、开放词汇的语义理解仍然是一个挑战，限制了机器人执行更高级别任务的能力。此外，许多方法依赖于外部位姿真值信息，限制了其在真实环境中的应用。
核心思路：FindAnything的核心思路是将视觉-语言信息融入到密集体积子地图中，从而实现对环境的更高级别的理解。通过利用视觉-语言特征，系统能够弥合纯几何信息和开放词汇语义信息之间的差距，使得机器人能够根据自然语言查询来探索环境。这种方法无需依赖外部位姿真值信息，可以在任何环境中进行探索。
技术框架：FindAnything框架主要包含以下几个模块：1) 基于SLAM的位姿估计模块，用于估计机器人的位姿；2) 基于eSAM的图像分割模块，用于生成高效的图像分割；3) 视觉-语言特征提取模块，用于提取图像分割区域的视觉-语言特征；4) 体素子地图构建模块，用于将视觉-语言特征集成到以对象为中心的体素子地图中；5) 基于自然语言查询的探索模块，用于根据用户的自然语言查询来规划机器人的探索路径。
关键创新：FindAnything的关键创新在于其开放词汇的地图表示，该表示能够将开放词汇查询映射到3D几何。通过将视觉-语言信息融入到密集体积子地图中，系统能够实现对环境的更高级别的理解。此外，该系统还采用了高效的SAM (eSAM) 来生成图像分割，从而提高了系统的实时性。与现有方法相比，FindAnything无需依赖外部位姿真值信息，可以在任何环境中进行探索。
关键设计：FindAnything使用体素占据子地图来表示环境，每个子地图都包含几何信息和语义信息。系统使用eSAM生成的分割区域，并提取每个区域的视觉-语言特征。这些特征被集成到以对象为中心的体素子地图中，从而实现从开放词汇查询到3D几何的映射。系统还设计了一种基于自然语言查询的探索算法，该算法能够根据用户的查询来规划机器人的探索路径。具体的参数设置和损失函数等技术细节在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
FindAnything在Replica数据集的封闭集评估中实现了最先进的语义精度，证明了其开放词汇地图表示的有效性。此外，该系统还成功部署在资源受限的MAV上，并利用视觉-语言信息完成了现实世界的机器人任务，验证了其在实际应用中的可行性。具体的性能数据和提升幅度在论文中进行了详细描述（未知）。
🎯 应用场景
FindAnything具有广泛的应用前景，例如：1) 机器人自主探索未知环境，可用于灾难救援、考古勘探等领域；2) 智能家居，机器人可以根据用户的自然语言指令来执行任务；3) 增强现实，可以将虚拟物体与真实环境进行融合。该研究有望推动机器人技术的发展，使其能够更好地理解和适应复杂环境。
📄 摘要（原文）
Geometrically accurate and semantically expressive map representations have proven invaluable to facilitate robust and safe mobile robot navigation and task planning. Nevertheless, real-time, open-vocabulary semantic understanding of large-scale unknown environments is still an open problem. In this paper we present FindAnything, an open-world mapping and exploration framework that incorporates vision-language information into dense volumetric submaps. Thanks to the use of vision-language features, FindAnything bridges the gap between pure geometric and open-vocabulary semantic information for a higher level of understanding while allowing to explore any environment without the help of any external source of ground-truth pose information. We represent the environment as a series of volumetric occupancy submaps, resulting in a robust and accurate map representation that deforms upon pose updates when the underlying SLAM system corrects its drift, allowing for a locally consistent representation between submaps. Pixel-wise vision-language features are aggregated from efficient SAM (eSAM)-generated segments, which are in turn integrated into object-centric volumetric submaps, providing a mapping from open-vocabulary queries to 3D geometry that is scalable also in terms of memory usage. The open-vocabulary map representation of FindAnything achieves state-of-the-art semantic accuracy in closed-set evaluations on the Replica dataset. This level of scene understanding allows a robot to explore environments based on objects or areas of interest selected via natural language queries. Our system is the first of its kind to be deployed on resource-constrained devices, such as MAVs, leveraging vision-language information for real-world robotic tasks.