CoCam4D: Geometry-Aware Cooperative 4D Perception for Camera-Only Autonomous Driving

📄 arXiv: 2610.11577v1 📥 PDF

作者: Soham Pahari, Sudip Das, Arindam Das, Ujjwal Bhattacharya

分类: cs.RO, cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出CoCam4D以解决摄像头感知的几何不确定性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 协作感知 几何不确定性 贝叶斯框架 3D高斯表示 动态对象原语 视觉感知 C-V2X通信

📋 核心要点

  1. 现有的自动驾驶感知方法在复杂环境中面临遮挡和盲区等问题，导致感知能力受限。
  2. CoCam4D通过贝叶斯框架建模几何不确定性，利用3D高斯场景表示实现多智能体协作感知。
  3. 实验结果显示，CoCam4D在多个基准测试中显著优于现有视觉方法，提升幅度超过10%。

📝 摘要（中文）

自动驾驶车辆常因遮挡、盲区、传感器范围有限及复杂环境而面临感知能力不足的问题。多智能体协作感知（CP）通过共享传感信息来应对这些挑战。然而，基于摄像头的感知在距离依赖的单目深度估计上仍存在不确定性。本文提出CoCam4D，一个贝叶斯框架，明确建模几何不确定性，利用VGGT基础的前馈网络生成带有不确定性估计的3D高斯场景表示，允许多个车辆或智能体高效结合观察结果。通过共享紧凑的高斯原语，一个智能体的可靠观察可以减少另一个智能体的深度不确定性，而无需激光雷达传感器。实验表明，所提方法在OPV2V+和DAIR-V2X-C上分别提升了11.48%和10.62%的性能，展示了基于几何的协作感知在无激光雷达自动驾驶中的潜力。

🔬 方法详解

问题定义：本文旨在解决基于摄像头的自动驾驶感知中，由于单目深度估计的不确定性导致的感知能力不足问题。现有方法在复杂环境中难以有效处理遮挡和盲区，限制了车辆的感知能力。

核心思路：CoCam4D的核心思路是通过贝叶斯框架显式建模几何不确定性，利用3D高斯场景表示来实现多智能体之间的协作感知。这样的设计使得多个车辆能够共享信息，减少彼此的深度估计不确定性。

技术框架：该方法的整体架构包括几个主要模块：首先，使用VGGT基础的前馈网络生成3D高斯场景表示；其次，智能体之间共享这些高斯原语以结合观察结果；最后，利用动态对象原语（DOPs）进行高效的C-V2X通信。

关键创新：最重要的技术创新在于引入了动态对象原语（DOPs），这种紧凑的35字节表示形式支持高效的车辆间通信，显著提高了协作感知的效率和可靠性。与现有方法相比，CoCam4D在处理几何不确定性方面具有本质的优势。

关键设计：在技术细节上，采用了特定的损失函数来优化高斯场景表示的准确性，并设计了适合动态环境的网络结构，以确保在实时应用中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoCam4D在OPV2V+和DAIR-V2X-C基准测试中分别提升了11.48%和10.62%的性能，显著优于现有的视觉感知方法。这些结果证明了几何基础的协作感知在无激光雷达自动驾驶中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统及无人机等多种需要实时环境感知的场景。通过提高摄像头感知的可靠性，CoCam4D能够在不依赖激光雷达的情况下，增强自动驾驶系统的安全性和效率，推动无人驾驶技术的广泛应用。

📄 摘要（原文）

Autonomous vehicles often suffer from limited perception due to occlusions, blind spots, limited sensor range, and the complex nature of surrounding environments. Multi-agent collaborative perception (CP) addresses these challenges by allowing vehicles to share sensory information and reconstruct the scene cooperatively. However, camera-only perception remains fundamentally limited by the uncertainty of distance-dependent monocular depth estimation. We propose CoCam4D, a Bayesian framework for collaborative perception that explicitly models geometric uncertainty. It uses a VGGT-based feedforward network to generate 3D Gaussian scene representations with associated uncertainty estimates, enabling multiple vehicles or agents to efficiently combine their observations. By sharing compact Gaussian primitives, reliable observations from one agent can reduce the depth uncertainty of another without requiring LiDAR sensors. To support real-world deployment, we introduce Dynamic Object Primitives (DOPs), a compact 35-byte representation designed for efficient C-V2X communication. Extensive experiments show that our proposed method consistently outperforms recent vision-only methods, achieving improvements of 11.48% on OPV2V+ and 10.62% on DAIR-V2X-C, demonstrating the potential of geometrically grounded collaborative perception for LiDAR-free autonomous driving.