STCOcc: Sparse Spatial-Temporal Cascade Renovation for 3D Occupancy and Scene Flow Prediction

📄 arXiv: 2504.19749v1 📥 PDF

作者: Zhimin Liao, Ping Wei, Shuaijia Chen, Haoxuan Wang, Ziyang Ren

分类: cs.CV

发布日期: 2025-04-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出STCOcc，利用稀疏时空级联更新进行3D occupancy和场景流预测

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D occupancy预测 场景流预测 稀疏注意力 级联细化 显式建模 自动驾驶 机器人

📋 核心要点

  1. 现有方法难以捕捉3D空间的局部细节，且模型空间区分能力不足，限制了3D occupancy和场景流预测的性能。
  2. STCOcc利用占据状态显式地更新3D特征，通过稀疏遮挡感知注意力和级联细化策略提升特征表达能力。
  3. 实验表明，STCOcc在RayIoU和mAVE指标上优于现有方法，并显著降低了GPU内存使用量。

📝 摘要（中文）

本文提出了一种新颖的显式状态建模方法STCOcc，旨在利用占据状态来更新3D特征，从而解决现有vision-centric方法在3D occupancy和场景流预测中，难以捕捉局部细节和空间区分能力不足的问题。具体而言，我们设计了一种稀疏遮挡感知注意力机制，并结合级联细化策略，以占据状态信息为指导，精确地更新3D特征。此外，我们还提出了一种新的长时动态交互建模方法，降低了计算成本并保留了空间信息。实验结果表明，与现有最先进方法相比，我们的高效显式更新策略不仅在occupancy和场景流预测的RayIoU和mAVE指标上表现更优，而且显著降低了训练期间的GPU内存使用量，降至8.7GB。

🔬 方法详解

问题定义：论文旨在解决3D occupancy和场景流预测问题。现有基于视觉的方法，特别是隐式学习方法，难以同时兼顾局部细节的捕捉和全局空间信息的建模，导致预测精度受限。此外，现有方法在处理长时动态交互时，计算成本较高。

核心思路：论文的核心思路是利用3D空间的稀疏性，通过显式地建模占据状态来指导3D特征的更新。占据状态可以提供关于哪些空间位置是重要的先验信息，从而帮助模型更有效地学习局部细节和空间关系。通过级联细化策略，逐步提升特征的表达能力。

技术框架：STCOcc的整体框架包含以下几个主要模块：1) 特征提取模块：从输入图像或点云数据中提取初始3D特征。2) 占据状态预测模块：预测3D空间中每个体素的占据状态。3) 稀疏遮挡感知注意力模块：利用预测的占据状态，计算每个体素与其他体素之间的注意力权重，并考虑遮挡关系。4) 级联细化模块：通过多个阶段的特征更新，逐步提升特征的表达能力。5) 场景流预测模块：基于更新后的3D特征，预测每个体素的运动矢量。

关键创新：论文的关键创新在于提出了稀疏遮挡感知注意力机制和级联细化策略。稀疏遮挡感知注意力机制能够有效地利用占据状态信息，并考虑遮挡关系，从而更准确地更新3D特征。级联细化策略能够逐步提升特征的表达能力，从而提高预测精度。此外，论文还提出了一种新的长时动态交互建模方法，降低了计算成本。

关键设计：稀疏遮挡感知注意力机制的关键在于如何有效地利用占据状态信息。论文通过将占据状态作为注意力权重的mask，只关注被占据的体素。同时，论文还考虑了遮挡关系，通过计算每个体素与其他体素之间的距离，来判断是否存在遮挡。级联细化模块的关键在于如何设计每个阶段的更新策略。论文采用残差连接，并使用不同的卷积核大小，以捕捉不同尺度的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STCOcc在nuScenes数据集上取得了显著的性能提升。在3D occupancy预测方面，RayIoU指标优于现有最佳方法。在场景流预测方面，mAVE指标也得到了显著提升。此外，STCOcc还显著降低了GPU内存使用量，从之前的数十GB降低到8.7GB，使得模型训练更加高效。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实等领域。通过准确预测3D occupancy和场景流，可以帮助自动驾驶系统更好地理解周围环境，从而做出更安全的决策。在机器人导航中，可以帮助机器人更好地规划路径，避免碰撞。在虚拟现实中，可以提供更逼真的3D场景体验。

📄 摘要（原文）

3D occupancy and scene flow offer a detailed and dynamic representation of 3D scene. Recognizing the sparsity and complexity of 3D space, previous vision-centric methods have employed implicit learning-based approaches to model spatial and temporal information. However, these approaches struggle to capture local details and diminish the model's spatial discriminative ability. To address these challenges, we propose a novel explicit state-based modeling method designed to leverage the occupied state to renovate the 3D features. Specifically, we propose a sparse occlusion-aware attention mechanism, integrated with a cascade refinement strategy, which accurately renovates 3D features with the guidance of occupied state information. Additionally, we introduce a novel method for modeling long-term dynamic interactions, which reduces computational costs and preserves spatial information. Compared to the previous state-of-the-art methods, our efficient explicit renovation strategy not only delivers superior performance in terms of RayIoU and mAVE for occupancy and scene flow prediction but also markedly reduces GPU memory usage during training, bringing it down to 8.7GB. Our code is available on https://github.com/lzzzzzm/STCOcc