CoSMO: Conformal Semantic Mapping for Open-World Safe Robot Navigation

📄 arXiv: 2610.18321v1 📥 PDF

作者: Shuqi Wang, Yiwei Zheng, Pingrui Zhang, Yue Gao, Xiang Yin

分类: cs.RO

发布日期: 2026-10-13

备注: Accepted at the 10th Conference on Robot Learning (CoRL), 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CoSMO框架以解决开放世界安全机器人导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 安全导航 开放世界 语义映射 保形预测 机器人技术 视觉-语言模型 动态环境 覆盖保证

📋 核心要点

  1. 现有方法在开放世界环境中无法有效处理动态扩展的危险类别，导致安全性不足。
  2. CoSMO框架通过将视觉-语言模型的嵌入转化为经过校准的覆盖集，提升了导航的安全性和可靠性。
  3. 实验结果显示，CoSMO在语义碰撞减少方面表现优异，并在实际应用中实现了高覆盖率。

📝 摘要（中文）

安全的自主导航不仅需要几何障碍物规避，还需语义意识。不同物体类别要求不同的安全间隙，且相关类别在机器人探索新环境时可能会扩展。视觉-语言模型（VLMs）为构建未知场景地图提供了丰富的语义表示，但其置信度评分未经过良好校准，导致原始预测在安全关键规划中不可靠。论文提出了CoSMO框架，将VLM嵌入转化为经过校准的覆盖集和安全意识障碍膨胀，能够在动态扩展的危险词汇下进行有效导航。实验结果表明，CoSMO在Matterport3D数据集上相较于仅基于几何的方法减少了61.6%的语义碰撞，并在实际四足机器人实验中实现了90.73%的长期经验覆盖率。

🔬 方法详解

问题定义：本论文旨在解决开放世界中安全机器人导航的问题，现有方法在处理动态扩展的危险类别时存在局限性，无法提供可靠的安全保障。

核心思路：提出CoSMO框架，通过将视觉-语言模型的嵌入转化为经过校准的覆盖集，确保在未知环境中进行安全导航。该设计考虑了不同物体类别的安全间隙需求。

技术框架：CoSMO框架主要包括三个模块：1) 语义嵌入获取，利用VLM生成环境的语义表示；2) 校准覆盖集生成，应用保形预测技术确保覆盖集的可靠性；3) 安全障碍膨胀，动态调整障碍物的安全距离以适应不同的环境和物体类别。

关键创新：CoSMO的核心创新在于将保形预测与语义映射结合，能够在开放世界中动态扩展危险词汇，提供覆盖保证，区别于传统方法的固定标签集假设。

关键设计：在参数设置上，采用了自适应阈值来调整覆盖集的置信度；损失函数设计上，结合了语义损失和几何损失，以优化导航性能；网络结构上，使用了多层感知机来处理VLM嵌入，确保信息的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoSMO在Matterport3D数据集上相较于仅基于几何的方法减少了61.6%的语义碰撞，同时在实际四足机器人实验中实现了90.73%的长期经验覆盖率，超出90%的目标，展示了其优越的性能和广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、智能家居、无人驾驶等场景。通过提升机器人在复杂环境中的安全性和可靠性，CoSMO框架能够有效支持机器人在动态和未知环境中的自主决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Safe autonomous navigation requires not only geometric obstacle avoidance but also semantic awareness. Different object categories demand different safety clearances, and the set of relevant categories may expand as the robot explores novel environments. Vision-language models (VLMs) offer rich semantic representations for building maps of unknown scenes, yet their confidence scores are poorly calibrated, making raw predictions unreliable for safety-critical planning. Conformal prediction (CP) can provide coverage guarantees, but existing methods assume a fixed label set and stationary data, limiting their use in open-world settings. We propose Conformal Semantic Mapping for Open-World Safe Robot Navigation (CoSMO), a semantic safety mapping framework that transforms VLM embeddings into calibrated coverage sets and safety-aware obstacle dilations over a dynamically expanding hazard vocabulary, even under distribution shift. Experiments on the Matterport3D (MP3D) dataset show that CoSMO reduces semantic collisions by 61.6% relative to a geometry-only baseline, while maintaining formal coverage guarantees even under delayed expert feedback. Real-world experiments on a quadruped robot further demonstrate generalization by achieving long-run empirical coverage of 90.73% against the 90% target. Project website: https://yangming911.github.io/cosmo-page/.