MR-COGraphs: Communication-efficient Multi-Robot Open-vocabulary Mapping System via 3D Scene Graphs

📄 arXiv: 2412.18381v2 📥 PDF

作者: Qiuyi Gu, Zhaocheng Ye, Jincheng Yu, Jiahao Tang, Tinghao Yi, Yuhan Dong, Jian Wang, Jinqiang Cui, Xinlei Chen, Yu Wang

分类: cs.RO

发布日期: 2024-12-24 (更新: 2025-03-14)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MR-COGraphs，用于通信受限的多机器人开放词汇三维场景图构建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人系统 协同感知 开放词汇 三维场景图 通信效率

📋 核心要点

  1. 多机器人协同感知在未知环境中至关重要，但现有支持开放词汇查询的地图表示数据量大，限制了通信受限环境下的应用。
  2. 论文提出COGraph，一种图结构的三维表示，通过节点表示语义对象，边表示空间关系，并采用数据驱动的特征编码压缩数据量。
  3. 实验结果表明，相较于现有方法，该框架在保持地图构建和查询性能的同时，数据量减少超过80%。

📝 摘要（中文）

本文提出了一种名为COGraph的图结构三维表示方法，用于解决多机器人系统中通信受限环境下的协同感知问题。COGraph的节点表示带有语义特征的对象，边表示它们之间的空间邻接关系。为了减少数据传输量，论文采用数据驱动的特征编码器压缩COGraph的特征维度，并在接收端使用解码器恢复语义特征。此外，论文还提出了一种基于特征的方法用于地点识别和位姿估计，从而将局部COGraph合并成统一的全局地图。在真实数据集和真实环境中的实验结果表明，与现有的开放词汇地图构建方法相比，该框架在不影响地图构建和查询性能的前提下，数据量减少了80%以上。

🔬 方法详解

问题定义：多机器人协同感知需要共享环境信息，但现有支持开放词汇查询的地图表示方法，例如直接传输图像或点云及其语义信息，数据量巨大，在通信带宽受限的场景下难以应用。因此，如何在保证语义信息完整性的前提下，降低地图表示的数据量，是本文要解决的核心问题。

核心思路：论文的核心思路是构建一种紧凑的、图结构的场景表示，即COGraph。COGraph通过节点表示场景中的对象，并赋予语义特征；通过边表示对象之间的空间关系。然后，利用数据驱动的特征编码器压缩语义特征的维度，从而减少数据传输量。接收端再利用解码器恢复语义特征。

技术框架：整个框架包含以下几个主要模块：1) 局部COGraph构建：每个机器人利用传感器数据（如RGB-D图像）构建局部的COGraph，节点包含对象的语义特征和几何信息，边表示空间邻接关系。2) 特征编码与压缩：使用数据驱动的特征编码器压缩COGraph中节点的语义特征，降低数据维度。3) COGraph传输：将压缩后的COGraph传输给其他机器人。4) 特征解码与恢复：接收端使用解码器恢复COGraph中节点的语义特征。5) 地点识别与位姿估计：利用特征匹配的方法进行地点识别，并估计机器人之间的相对位姿。6) 全局COGraph融合：将局部COGraph融合到全局COGraph中。

关键创新：最重要的创新点在于COGraph的图结构表示和数据驱动的特征编码压缩方法。COGraph将场景表示为对象及其关系，相比于直接传输图像或点云，更加紧凑。数据驱动的特征编码器能够有效地压缩语义特征的维度，同时保证语义信息的完整性。

关键设计：特征编码器和解码器采用自编码器结构，通过最小化编码-解码过程中的信息损失来训练。地点识别采用基于特征匹配的方法，例如使用SIFT或ORB特征。位姿估计可以使用ICP或其他位姿优化算法。损失函数的设计需要平衡压缩率和信息恢复的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在两个真实数据集和真实环境中，MR-COGraphs框架相比于现有的开放词汇地图构建方法，数据量减少了80%以上，同时保持了相当的地图构建和查询性能。这表明该方法在通信受限的环境下具有显著的优势。

🎯 应用场景

该研究成果可应用于多机器人协同探索、协同建图、协同搜索救援等领域。在通信受限的环境下，例如地下矿井、水下环境、灾后现场等，该方法能够有效降低数据传输量，提高多机器人系统的协同效率和可靠性。未来，该方法还可以扩展到更大规模的机器人集群，实现更复杂的协同任务。

📄 摘要（原文）

Collaborative perception in unknown environments is crucial for multi-robot systems. With the emergence of foundation models, robots can now not only perceive geometric information but also achieve open-vocabulary scene understanding. However, existing map representations that support open-vocabulary queries often involve large data volumes, which becomes a bottleneck for multi-robot transmission in communication-limited environments. To address this challenge, we develop a method to construct a graph-structured 3D representation called COGraph, where nodes represent objects with semantic features and edges capture their spatial adjacency relationships. Before transmission, a data-driven feature encoder is applied to compress the feature dimensions of the COGraph. Upon receiving COGraphs from other robots, the semantic features of each node are recovered using a decoder. We also propose a feature-based approach for place recognition and translation estimation, enabling the merging of local COGraphs into a unified global map. We validate our framework on two realistic datasets and the real-world environment. The results demonstrate that, compared to existing baselines for open-vocabulary map construction, our framework reduces the data volume by over 80\% while maintaining mapping and query performance without compromise. For more details, please visit our website at https://github.com/efc-robot/MR-COGraphs.