Where Did I Leave My Glasses? Open-Vocabulary Semantic Exploration in Real-World Semi-Static Environments
作者: Benjamin Bogenberger, Oliver Harrison, Orrin Dahanaggamaarachchi, Lukas Brunke, Jingxing Qian, Siqi Zhou, Angela P. Schoellig
分类: cs.RO
发布日期: 2025-09-24 (更新: 2026-01-14)
期刊: IEEE RA-L, 2026
💡 一句话要点
提出一种开放词汇语义探索系统，用于真实半静态环境下的机器人导航与地图维护。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义探索 半静态环境 对象导航 大型语言模型 机器人 概率模型 开放词汇 主动探索
📋 核心要点
- 现有语义探索研究主要集中在静态场景，缺乏对持久对象级实例的跟踪，无法适应真实半静态环境。
- 该系统构建对象实例稳定性的概率模型，跟踪半静态变化，并结合LLM推理进行开放词汇对象目标导航。
- 实验表明，该方法在对象导航任务中优于现有基线，能更可靠地处理半静态环境变化，并在真实环境中检测到95%的地图变化。
📝 摘要（中文）
本文提出了一种用于半静态环境的开放词汇语义探索系统。该系统通过构建对象实例稳定性的概率模型来维护一致的地图，系统地跟踪半静态变化，并主动探索长时间未访问的区域。除了主动地图维护外，该方法还利用地图的语义丰富性，通过基于大型语言模型（LLM）的推理进行开放词汇对象目标导航，从而通过优先考虑上下文相关的区域来更有效地搜索。在公开的对象导航和地图数据集上，我们将我们的方法与最先进的基线进行比较，并在三个真实环境中进一步展示了真实世界的迁移性。我们的方法在对象导航任务的成功率和搜索效率方面优于比较的基线，并且可以更可靠地处理映射半静态环境中的变化。在真实世界的实验中，我们的系统平均检测到 95% 的地图变化，与随机和巡逻策略相比，效率提高了 29% 以上。
🔬 方法详解
问题定义：现有语义探索方法主要关注静态环境，忽略了真实世界中物体位置的动态变化，缺乏对物体实例的长期跟踪和管理。这导致机器人难以在家庭等半静态环境中有效地导航和完成任务，例如寻找特定物体时，无法根据环境变化调整搜索策略。
核心思路：该论文的核心思路是构建一个能够适应半静态环境的语义地图，并利用大型语言模型进行推理，从而实现高效的开放词汇对象目标导航。通过概率模型跟踪物体实例的稳定性，并主动探索未访问区域，保持地图的更新和准确性。利用LLM的语义理解能力，根据任务目标和环境上下文，优先搜索相关区域。
技术框架：该系统包含以下主要模块：1) 环境感知模块：负责获取环境信息，例如通过RGB-D相机获取图像和深度信息。2) 语义地图构建模块：基于环境感知信息，构建包含物体实例信息的语义地图，并使用概率模型跟踪物体实例的稳定性。3) 主动探索模块：根据地图信息和探索策略，选择下一个探索区域，并控制机器人移动。4) LLM推理模块：根据任务目标和地图信息，利用LLM进行推理，生成搜索策略，例如优先搜索与目标物体相关的区域。5) 导航模块：根据搜索策略，控制机器人导航到目标区域。
关键创新：该论文的关键创新在于：1) 半静态环境建模：提出了物体实例稳定性的概率模型，能够有效地跟踪和管理半静态环境中的物体变化。2) LLM辅助导航：利用LLM的语义理解能力，根据任务目标和环境上下文，生成更有效的搜索策略，提高了导航效率。3) 开放词汇支持：支持开放词汇的对象目标导航，无需预先定义所有物体的类别。
关键设计：在物体实例稳定性建模方面，使用贝叶斯滤波等方法，根据物体出现和消失的历史信息，更新物体稳定性的概率。在LLM推理方面，使用Prompt Engineering技术，设计合适的Prompt，引导LLM生成有效的搜索策略。主动探索策略方面，结合了基于信息增益和基于访问频率的探索策略，平衡了探索效率和地图完整性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在对象导航任务的成功率和搜索效率方面优于现有基线。在真实世界的实验中，该系统平均检测到 95% 的地图变化，与随机和巡逻策略相比，效率提高了 29% 以上。这些结果验证了该方法在半静态环境中进行语义探索和对象目标导航的有效性。
🎯 应用场景
该研究成果可应用于家庭服务机器人、仓储物流机器人、安防巡逻机器人等领域。例如，家庭服务机器人可以利用该系统，帮助用户寻找遗失物品，并根据家庭环境的变化进行自我调整。仓储物流机器人可以利用该系统，更高效地完成拣货和搬运任务。安防巡逻机器人可以利用该系统，检测环境中的异常变化，并及时发出警报。未来，该技术有望进一步发展，实现更智能、更自主的机器人应用。
📄 摘要（原文）
Robots deployed in real-world environments, such as homes, must not only navigate safely but also understand their surroundings and adapt to changes in the environment. To perform tasks efficiently, they must build and maintain a semantic map that accurately reflects the current state of the environment. Existing research on semantic exploration largely focuses on static scenes without persistent object-level instance tracking. In this work, we propose an open-vocabulary, semantic exploration system for semi-static environments. Our system maintains a consistent map by building a probabilistic model of object instance stationarity, systematically tracking semi-static changes, and actively exploring areas that have not been visited for an extended period. In addition to active map maintenance, our approach leverages the map's semantic richness with large language model (LLM)-based reasoning for open-vocabulary object-goal navigation. This enables the robot to search more efficiently by prioritizing contextually relevant areas. We compare our approach against state-of-the-art baselines using publicly available object navigation and mapping datasets, and we further demonstrate real-world transferability in three real-world environments. Our approach outperforms the compared baselines in both success rate and search efficiency for object-navigation tasks and can more reliably handle changes in mapping semi-static environments. In real-world experiments, our system detects 95% of map changes on average, improving efficiency by more than 29% as compared to random and patrol strategies.