GaussianBeV: 3D Gaussian Representation meets Perception Models for BeV Segmentation
作者: Florian Chabot, Nicolas Granger, Guillaume Lapouge
分类: cs.CV
发布日期: 2024-07-19 (更新: 2024-12-04)
备注: Accepted to WACV 2025
💡 一句话要点
GaussianBeV：提出基于3D高斯表示的BeV分割新方法，刷新nuScenes数据集SOTA。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 鸟瞰图分割 3D高斯表示 高斯溅射 自动驾驶 场景理解
📋 核心要点
- 现有基于几何或注意力机制的BeV转换方法，对3D空间采样不足，难以捕捉场景的精细结构。
- GaussianBeV利用3D高斯分布精细表示场景，通过高斯溅射将图像特征转换为BeV特征图，实现高效的场景理解。
- 实验结果表明，GaussianBeV在nuScenes数据集的BeV语义分割任务上取得了新的state-of-the-art性能。
📝 摘要（中文）
鸟瞰图(BeV)表示广泛应用于多视角相机图像的3D感知。它允许将来自不同相机的特征合并到公共空间中，从而提供3D场景的统一表示。关键组件是视图转换器，它将图像视图转换为BeV。然而，目前基于几何或交叉注意力的视图转换器方法无法提供足够详细的场景表示，因为它们使用的3D空间子采样对于建模环境的精细结构而言并非最优。本文提出GaussianBeV，一种通过使用位于3D空间中且具有方向的3D高斯集合来精细表示场景，从而将图像特征转换为BeV的新方法。然后，通过调整基于高斯溅射的3D表示渲染的最新进展，对该表示进行溅射以生成BeV特征图。GaussianBeV是第一个在线使用这种3D高斯建模和3D场景渲染过程的方法，即无需在特定场景上对其进行优化，而是直接集成到用于BeV场景理解的单阶段模型中。实验表明，所提出的表示非常有效，并将GaussianBeV置于nuScenes数据集上BeV语义分割任务的最新水平。
🔬 方法详解
问题定义：现有的基于几何或交叉注意力的视图转换方法在将图像特征转换为BeV表示时，由于对3D空间的采样不够精细，无法充分捕捉场景中的细节信息，导致BeV语义分割的精度受限。这些方法通常采用次优的子采样策略，难以有效地建模环境的精细结构。
核心思路：GaussianBeV的核心思路是使用一组3D高斯分布来精细地表示3D场景。每个高斯分布都具有位置和方向信息，可以更准确地捕捉场景中的几何结构和细节。通过将图像特征映射到这些3D高斯分布上，并利用高斯溅射技术将这些高斯分布渲染成BeV特征图，从而实现更精确的BeV表示。
技术框架：GaussianBeV采用单阶段模型，直接将图像特征转换为BeV表示，无需额外的优化步骤。其主要流程包括：1) 使用多视角相机获取图像特征；2) 将图像特征映射到3D高斯分布上，每个高斯分布的位置和方向由网络预测；3) 使用高斯溅射技术将3D高斯分布渲染成BeV特征图；4) 使用BeV特征图进行语义分割。
关键创新：GaussianBeV的关键创新在于首次将3D高斯表示和高斯溅射技术应用于在线的BeV场景理解任务中。与传统的基于体素或点云的表示方法相比，3D高斯表示能够更有效地捕捉场景的细节信息，并且具有可微性，方便进行端到端的训练。此外，GaussianBeV无需对特定场景进行优化，可以直接应用于新的场景中。
关键设计：GaussianBeV的关键设计包括：1) 使用可学习的网络来预测3D高斯分布的位置和方向；2) 采用高效的高斯溅射算法，将3D高斯分布渲染成BeV特征图；3) 使用交叉熵损失函数来训练语义分割网络。具体的网络结构和参数设置需要根据具体的应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
GaussianBeV在nuScenes数据集的BeV语义分割任务上取得了显著的性能提升，超越了现有的state-of-the-art方法。具体而言，GaussianBeV在多个指标上都取得了最佳结果，证明了其在BeV场景理解方面的有效性。实验结果表明，GaussianBeV能够更准确地捕捉场景的细节信息，从而提高语义分割的精度。
🎯 应用场景
GaussianBeV在自动驾驶、机器人导航、智能交通等领域具有广泛的应用前景。它可以为自动驾驶系统提供更精确的场景理解能力，从而提高驾驶安全性。在机器人导航领域，GaussianBeV可以帮助机器人更好地感知周围环境，从而实现更智能的导航。此外，GaussianBeV还可以应用于智能交通管理，例如交通流量监控和车辆行为分析。
📄 摘要（原文）
The Bird's-eye View (BeV) representation is widely used for 3D perception from multi-view camera images. It allows to merge features from different cameras into a common space, providing a unified representation of the 3D scene. The key component is the view transformer, which transforms image views into the BeV. However, actual view transformer methods based on geometry or cross-attention do not provide a sufficiently detailed representation of the scene, as they use a sub-sampling of the 3D space that is non-optimal for modeling the fine structures of the environment. In this paper, we propose GaussianBeV, a novel method for transforming image features to BeV by finely representing the scene using a set of 3D gaussians located and oriented in 3D space. This representation is then splattered to produce the BeV feature map by adapting recent advances in 3D representation rendering based on gaussian splatting. GaussianBeV is the first approach to use this 3D gaussian modeling and 3D scene rendering process online, i.e. without optimizing it on a specific scene and directly integrated into a single stage model for BeV scene understanding. Experiments show that the proposed representation is highly effective and place GaussianBeV as the new state-of-the-art on the BeV semantic segmentation task on the nuScenes dataset.