CVT-Occ: Cost Volume Temporal Fusion for 3D Occupancy Prediction

📄 arXiv: 2409.13430v3 📥 PDF

作者: Zhangchen Ye, Tao Jiang, Chenfeng Xu, Yiming Li, Hang Zhao

分类: cs.CV, cs.AI

发布日期: 2024-09-20 (更新: 2024-09-25)

备注: Accepted to ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

CVT-Occ：利用时序代价体融合提升3D Occupancy预测精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D Occupancy预测 时序融合 代价体 单目视觉 自动驾驶

📋 核心要点

  1. 单目视觉3D Occupancy预测受限于深度估计的准确性，难以充分利用时序信息。
  2. CVT-Occ通过构建时序代价体，融合历史帧特征，利用视差线索提升预测精度。
  3. 在Occ3D-Waymo数据集上的实验表明，CVT-Occ在计算成本增加极小的情况下，优于现有方法。

📝 摘要（中文）

基于视觉的3D Occupancy预测受到单目视觉深度估计固有局限性的显著挑战。本文提出了CVT-Occ，一种新颖的方法，它利用随时间推移的体素几何对应关系进行时序融合，以提高3D Occupancy预测的准确性。通过沿每个体素的视线采样点，并整合来自历史帧的这些点的特征，我们构建了一个代价体特征图，该特征图细化了当前的体素特征，从而改善了预测结果。我们的方法利用了来自历史观测的视差线索，并采用数据驱动的方法来学习代价体。我们通过在Occ3D-Waymo数据集上进行的严格实验验证了CVT-Occ的有效性，在3D Occupancy预测方面，它优于最先进的方法，且计算成本增加极小。

🔬 方法详解

问题定义：论文旨在解决单目视觉3D Occupancy预测中，由于深度估计不准确导致预测性能受限的问题。现有方法难以有效利用时序信息，无法充分利用历史帧中的几何线索，导致预测结果不够鲁棒。

核心思路：论文的核心思路是利用历史帧的视差信息，通过构建代价体来融合时序特征，从而提升当前帧的3D Occupancy预测精度。通过对每个体素沿视线方向采样，并聚合历史帧中对应点的特征，可以有效地利用时序几何信息。

技术框架：CVT-Occ的整体框架包括以下几个主要阶段：1) 特征提取：从当前帧和历史帧中提取图像特征。2) 视线采样：沿每个体素的视线方向，在历史帧中采样若干个点。3) 代价体构建：将采样点的特征与当前体素的特征进行融合，构建代价体特征图。4) 体素特征细化：利用代价体特征图来细化当前的体素特征。5) Occupancy预测：基于细化后的体素特征进行3D Occupancy预测。

关键创新：最重要的技术创新点在于提出了基于时序代价体的特征融合方法。与现有方法相比，CVT-Occ能够更有效地利用历史帧中的几何信息，从而提升预测精度。此外，采用数据驱动的方式学习代价体，能够更好地适应不同的场景和数据分布。

关键设计：论文中关键的设计包括：1) 视线采样点的数量和位置；2) 代价体特征图的融合方式；3) 用于细化体素特征的网络结构；4) 损失函数的设计，例如，可以使用交叉熵损失函数来训练Occupancy预测模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CVT-Occ在Occ3D-Waymo数据集上取得了显著的性能提升，超越了现有的state-of-the-art方法。实验结果表明，CVT-Occ能够在计算成本增加极小的情况下，显著提高3D Occupancy预测的准确性。具体的性能数据需要在论文中查找，但摘要中明确指出优于现有方法。

🎯 应用场景

CVT-Occ在自动驾驶、机器人导航、场景理解等领域具有广泛的应用前景。通过提高3D Occupancy预测的准确性，可以帮助自动驾驶系统更好地感知周围环境，从而提高行驶安全性。此外，该方法还可以应用于机器人导航，帮助机器人更好地理解周围环境，从而实现自主导航。未来，该方法还可以扩展到其他基于视觉的3D感知任务中。

📄 摘要（原文）

Vision-based 3D occupancy prediction is significantly challenged by the inherent limitations of monocular vision in depth estimation. This paper introduces CVT-Occ, a novel approach that leverages temporal fusion through the geometric correspondence of voxels over time to improve the accuracy of 3D occupancy predictions. By sampling points along the line of sight of each voxel and integrating the features of these points from historical frames, we construct a cost volume feature map that refines current volume features for improved prediction outcomes. Our method takes advantage of parallax cues from historical observations and employs a data-driven approach to learn the cost volume. We validate the effectiveness of CVT-Occ through rigorous experiments on the Occ3D-Waymo dataset, where it outperforms state-of-the-art methods in 3D occupancy prediction with minimal additional computational cost. The code is released at \url{https://github.com/Tsinghua-MARS-Lab/CVT-Occ}.