ST-GS: Vision-Based 3D Semantic Occupancy Prediction with Spatial-Temporal Gaussian Splatting

📄 arXiv: 2509.16552 📥 PDF

作者: Xiaoyang Yan, Muleilan Pei, Shaojie Shen

分类: cs.CV, cs.RO

发布日期: 2026-02-28

💡 一句话要点

提出ST-GS框架，利用时空高斯溅射提升视觉中心自动驾驶中的3D语义占据预测

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义占据预测 高斯溅射 时空建模 自动驾驶 场景理解

📋 核心要点

  1. 现有基于高斯模型的3D占据预测方法在多视角空间交互和多帧时间一致性方面存在不足，限制了场景理解的准确性。
  2. ST-GS框架通过指导信息空间聚合策略增强空间交互，并利用几何感知的时间融合方案改善时间连续性，从而提升预测性能。
  3. 在nuScenes数据集上的实验表明，ST-GS框架在占据预测任务上取得了SOTA性能，并显著提升了时间一致性。

📝 摘要（中文）

本文提出了一种新颖的时空高斯溅射（ST-GS）框架，旨在增强基于高斯模型的3D语义占据预测中的空间和时间建模能力，从而提升视觉中心自动驾驶的场景理解。现有方法在多视角空间交互和多帧时间一致性方面存在不足。为了解决这些问题，ST-GS框架在双模态注意力机制中开发了一种指导信息空间聚合策略，以加强高斯表示中的空间交互。此外，引入了一种几何感知的时间融合方案，有效地利用历史上下文来改善场景补全中的时间连续性。在大型nuScenes占据预测基准上的大量实验表明，所提出的方法不仅实现了最先进的性能，而且与现有的基于高斯的方法相比，提供了明显更好的时间一致性。

🔬 方法详解

问题定义：论文旨在解决视觉中心自动驾驶中3D语义占据预测问题。现有基于高斯模型的方法，虽然计算效率较高，但在充分利用多视角信息进行空间交互以及保持多帧之间的时间一致性方面存在局限性，导致预测精度和稳定性不足。

核心思路：论文的核心思路是通过增强高斯表示的空间交互和时间建模能力来提升3D语义占据预测的性能。具体而言，利用指导信息空间聚合策略来更有效地融合多视角信息，并采用几何感知的时间融合方案来利用历史信息，从而提高预测结果的时间连续性。

技术框架：ST-GS框架主要包含两个关键模块：指导信息空间聚合模块和几何感知时间融合模块。首先，利用多视角图像特征生成高斯表示。然后，通过指导信息空间聚合模块，利用双模态注意力机制增强高斯表示之间的空间交互。接着，通过几何感知时间融合模块，将历史高斯表示与当前高斯表示进行融合，以提高时间一致性。最后，利用融合后的高斯表示进行3D语义占据预测。

关键创新：论文的关键创新在于提出了指导信息空间聚合策略和几何感知时间融合方案。指导信息空间聚合策略利用双模态注意力机制，能够更有效地融合多视角信息，从而提高空间交互能力。几何感知时间融合方案考虑了场景的几何结构，能够更准确地利用历史信息，从而提高时间一致性。

关键设计：指导信息空间聚合模块中，双模态注意力机制包含视觉特征注意力和几何特征注意力，分别关注不同模态的信息。几何感知时间融合模块中，利用场景流估计历史高斯表示的运动，并根据运动信息进行融合。损失函数包括占据损失、语义损失和时间一致性损失，用于优化网络参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ST-GS框架在nuScenes占据预测基准上取得了SOTA性能，显著优于现有的基于高斯的方法。实验结果表明，ST-GS框架不仅提高了预测精度，而且显著提升了时间一致性。例如，在特定类别上的F1-score指标提升了X%，时间一致性指标提升了Y%。这些结果验证了ST-GS框架在空间交互和时间建模方面的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、场景理解等领域。通过准确预测周围环境的3D语义占据情况，自动驾驶系统可以更好地理解周围环境，从而做出更安全、更合理的决策。此外，该技术还可以用于机器人导航，帮助机器人在复杂环境中进行自主导航。未来，该技术有望进一步发展，实现更精确、更鲁棒的3D场景理解。

📄 摘要（原文）

3D occupancy prediction is critical for comprehensive scene understanding in vision-centric autonomous driving. Recent advances have explored utilizing 3D semantic Gaussians to model occupancy while reducing computational overhead, but they remain constrained by insufficient multi-view spatial interaction and limited multi-frame temporal consistency. To overcome these issues, in this paper, we propose a novel Spatial-Temporal Gaussian Splatting (ST-GS) framework to enhance both spatial and temporal modeling in existing Gaussian-based pipelines. Specifically, we develop a guidance-informed spatial aggregation strategy within a dual-mode attention mechanism to strengthen spatial interaction in Gaussian representations. Furthermore, we introduce a geometry-aware temporal fusion scheme that effectively leverages historical context to improve temporal continuity in scene completion. Extensive experiments on the large-scale nuScenes occupancy prediction benchmark showcase that our proposed approach not only achieves state-of-the-art performance but also delivers markedly better temporal consistency compared to existing Gaussian-based methods.