CoGaussian: Open-Vocabulary Gaussian-based Collaborative 3D Scene Understanding

📄 arXiv: 2610.28530v1 📥 PDF

作者: Om Shivam Verma, Shaya Farahmand, Lingjun Zhao, Lu Gan

分类: cs.CV, cs.RO

发布日期: 2026-10-20

💡 一句话要点

提出CoGaussian以解决协作感知中的语义占用预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 协作感知 开放词汇 高斯表示 语义占用预测 多智能体系统

📋 核心要点

  1. 现有的协作语义占用方法依赖于密集的3D体素标注，且只能识别有限的预定义语义类别，限制了其应用范围。
  2. 本文提出的CoGaussian框架通过使用开放词汇的高斯表示，允许智能体在不受限于固定类别的情况下进行协作感知。
  3. 在Semantic-OPV2V基准测试中，CoGaussian的表现超越了现有的开放词汇单智能体方法，展示了其在协作场景理解中的优势。

📝 摘要（中文）

协作感知使得多个智能体能够获取超出单个智能体视野的场景语义和几何信息，从而提升交通安全和多机器人系统的效率。然而，现有的协作语义占用方法依赖于密集的3D体素标注，并且仅限于识别预定义的语义类别。为了解决这些局限性，本文提出了CoGaussian，一个基于高斯的开放词汇协作语义占用预测框架。CoGaussian将场景表示为一组与基础模型对齐的稀疏3D高斯分布，作为在多个智能体之间传递和融合几何及语义信息的紧凑表示。在Semantic-OPV2V基准测试中，我们的方法超越了现有的开放词汇单智能体方法，突显了开放词汇协作场景理解的有效性。

🔬 方法详解

问题定义：本文旨在解决现有协作感知方法在语义占用预测中对密集3D体素标注的依赖，以及对预定义语义类别的限制。这些问题导致了信息传递的低效和灵活性不足。

核心思路：CoGaussian框架的核心思想是使用开放词汇的高斯分布来表示场景，从而实现更灵活的语义和几何信息的融合。这种设计使得智能体能够在没有固定类别限制的情况下进行协作感知。

技术框架：CoGaussian的整体架构包括多个模块，首先是场景的高斯表示模块，其次是信息传递和融合模块，最后是基于高斯的语义占用预测模块。这些模块协同工作，以实现高效的场景理解。

关键创新：CoGaussian的主要创新在于其开放词汇的高斯表示方式，与传统方法相比，它不再依赖于固定的语义类别，从而提高了灵活性和适应性。

关键设计：在技术细节上，CoGaussian采用了特定的损失函数来优化高斯参数，并设计了高效的网络结构以处理稀疏数据。这些设计确保了模型在多智能体协作中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在Semantic-OPV2V基准测试中，CoGaussian方法的性能显著优于现有的开放词汇单智能体方法，具体提升幅度未知，展示了其在协作场景理解中的有效性和优势。

🎯 应用场景

CoGaussian的研究成果在多个领域具有潜在应用价值，包括自动驾驶、无人机编队、智能物流等。通过提高多智能体系统的协作感知能力，该框架能够显著提升交通安全性和系统效率，推动智能交通和机器人技术的发展。

📄 摘要（原文）

Collaborative perception enables agents to retrieve the scene semantics and geometry beyond the field of view of any individual agent. This broader scene understanding enhances transportation safety and improves efficiency in multi-robot systems. However, existing collaborative semantic occupancy methods rely on dense 3D voxel annotations and are limited to recognizing objects within a predefined set of semantic classes. To overcome these limitations, we present CoGaussian, an open-vocabulary Gaussian-based collaborative semantic occupancy prediction framework. CoGaussian represents a scene as a set of foundation model-aligned sparse 3D Gaussians, which serve as a compact representation for communicating and fusing geometric and semantic information across multiple agents. On the Semantic-OPV2V benchmark, our method outperforms existing open-vocabulary single-agent approaches, highlighting the effectiveness of open-vocabulary collaborative scene understanding.