CoRef-GS: Cooperative Referring Gaussian Splatting for Multi-Agent Scene Understanding

📄 arXiv: 2609.20586v1 📥 PDF

作者: Zhikun Zhou, Kunyu Peng, Runyi Yang, Junhao Cai, Di Wen, Ruiping Liu, Danda Pani Paudel, Yi Zhou, Luc Van Gool, Kailun Yang

分类: cs.RO, cs.CV, eess.IV

发布日期: 2026-09-17

备注: The established benchmark and source code will be publicly released at https://github.com/ruojiruoli17/CoRef-GS.git

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoRef-GS框架以解决多智能体场景理解中的语言查询问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多智能体 场景理解 语言查询 高斯图 几何对齐 语义兼容性 机器人技术 实例感知

📋 核心要点

  1. 现有方法在多智能体场景中，无法有效处理来自不同智能体的语言查询，导致目标定位和空间关系推理的困难。
  2. CoRef-GS框架通过构建开放词汇的实例感知高斯图，利用几何和语义一致性对齐多个地图，从而实现了更准确的语言查询。
  3. 实验结果显示，CoRef-GS在模拟场景中显著降低了旋转误差，并在实际场景中提高了mIoU，验证了其有效性。

📝 摘要（中文）

针对具身机器人在特定视角下进行的场景理解，本文提出了一种合作式的语言查询方法CoRef-GS。该方法通过融合多个智能体的局部语义高斯图，解决了在独立重建地图后仍能有效进行目标定位和空间关系推理的问题。与现有方法不同，CoRef-GS不仅关注单一地图的查询，还实现了几何对齐和语义兼容性，显著提升了多智能体环境下的查询效果。实验结果表明，该方法在模拟场景中将旋转误差从2.58°降低至0.15°，并在实际场景中将mIoU从52.6%提升至68.8%。

🔬 方法详解

问题定义：本文旨在解决多智能体场景理解中，如何在不同智能体的观察下有效地进行语言查询的问题。现有方法主要集中于单一地图的查询，缺乏对多地图融合后的语义兼容性和几何对齐的考虑。

核心思路：CoRef-GS框架的核心思想是通过构建局部开放词汇的实例感知高斯图，结合几何和语义一致性来对齐部分重叠的地图，从而实现对语言查询的有效定位和关系推理。

技术框架：该框架包括三个主要模块：局部高斯图构建模块、跨智能体对齐模块和基于视角的关系图查询模块。局部高斯图用于表示每个智能体的观察，跨智能体对齐模块确保地图间的几何和语义一致性，而关系图则用于根据查询的视角进行目标定位。

关键创新：CoRef-GS的创新在于其能够在多个智能体的地图融合中保持语言查询的语义兼容性，解决了现有方法在几何对齐时忽视语义信息的问题。

关键设计：在设计中，采用了特定的损失函数来优化几何对齐和语义一致性，同时在网络结构上引入了视角条件的关系图，以增强对空间关系的推理能力。该设计使得模型在多智能体环境中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CoRef-GS在模拟场景中将旋转误差从2.58°降低至0.15°，显示出显著的精度提升。同时，在实际场景中，mIoU从52.6%提升至68.8%，相较于基线ReferSplat表现出更优的效果，验证了其有效性和实用性。

🎯 应用场景

CoRef-GS框架在具身机器人、智能家居和自动驾驶等领域具有广泛的应用潜力。通过提高多智能体环境下的语言理解能力，该研究能够促进机器人在复杂场景中的自主决策和交互能力，推动智能体协作的实际应用。未来，该方法还可以扩展到更多的多模态融合任务中，提升智能系统的整体性能。

📄 摘要（原文）

Referring scene understanding for embodied robots requires grounding object- and relation-centric language queries from a designated viewpoint. While a local semantic Gaussian map can support such grounding within one agent's observations, cooperative settings require this ability to remain effective after independently reconstructed maps are aligned and fused. In this setting, the referred target or its contextual landmark may come from another agent's observations, while spatial relations must still be interpreted from the querying robot's viewpoint. We formulate this problem as cooperative referring Gaussian grounding over fused maps, which requires geometric alignability, instance-level semantic comparability, and view-conditioned relation reasoning. Existing language-aware Gaussian methods mainly focus on single-map querying, whereas Gaussian registration methods optimize geometric or photometric alignment without preserving language-grounding-oriented semantic compatibility. We propose CoRef-GS, a cooperative referring Gaussian splatting framework. CoRef-GS constructs local open-vocabulary instance-aware Gaussian maps, then aligns partially overlapping maps with a cross-agent alignment module by geometric and semantic consistency, and grounds queries using a view-conditioned mask relation graph. We further introduce CoQuad-Ref, a dual-quadruped benchmark spanning both real-world and simulated indoor scenes. Experiments show that, on simulated scenes, CoRef-GS reduces the rotation error from 2.58° after coarse initialization to 0.15° after refinement, and improves real-world referring mIoU over ReferSplat from 52.6% to 68.8%. The established benchmark and source code will be publicly released at https://github.com/ruojiruoli17/CoRef-GS.git.