Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking

📄 arXiv: 2602.23172 📥 PDF

作者: Maximilian Luz, Rohit Mohan, Thomas Nürnberg, Yakov Miron, Daniele Cattaneo, Abhinav Valada

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-02-28

💡 一句话要点

提出潜在高斯喷涂方法以解决4D全景占用跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 4D占用跟踪 潜在高斯喷涂 多视角融合 时空场景理解 机器人导航

📋 核心要点

  1. 现有方法通常只提供粗略的几何跟踪或缺乏时间关联的详细3D结构，难以实现高效的4D占用跟踪。
  2. 论文提出的LaGS方法通过潜在高斯喷涂技术，将多视角信息高效聚合到3D体素网格中，提升了时空场景理解能力。
  3. 在Occ3D nuScenes和Waymo数据集上的实验结果显示，LaGS在4D全景占用跟踪任务中达到了最新的性能水平。

📝 摘要（中文）

捕捉4D时空环境对于机器人在动态环境中的安全可靠操作至关重要。然而，现有方法通常只关注问题的一方面：要么通过边界框提供粗略的几何跟踪，要么提供缺乏明确时间关联的详细3D结构，如基于体素的占用。在本研究中，我们提出了潜在高斯喷涂（LaGS）方法，以整体方向推进时空场景理解。该方法结合了基于相机的端到端跟踪与基于掩膜的多视角全景占用预测，并通过新颖的潜在高斯喷涂方法有效聚合多视角信息到3D体素网格中。我们在Occ3D nuScenes和Waymo数据集上评估了LaGS，取得了4D全景占用跟踪的最新性能。

🔬 方法详解

问题定义：本论文旨在解决4D全景占用跟踪中的时空信息聚合问题。现有方法往往只能提供粗略的几何信息或缺乏时间关联的3D结构，无法满足动态环境下机器人的需求。

核心思路：论文提出的LaGS方法通过潜在高斯喷涂技术，将多视角观测信息融合为3D高斯分布，形成稀疏的点中心潜在表示，从而实现高效的时空场景理解。

技术框架：LaGS的整体架构包括三个主要模块：首先，基于相机的端到端跟踪；其次，掩膜基础的多视角全景占用预测；最后，通过潜在高斯喷涂将聚合特征映射到3D体素网格中。

关键创新：LaGS的核心创新在于引入潜在高斯喷涂方法，有效解决了多视角信息聚合到3D体素网格中的效率问题。这一方法与传统的体素表示方式相比，能够更好地捕捉时空动态变化。

关键设计：在设计中，论文采用了稀疏点中心的3D高斯表示，并结合掩膜基础的分割头进行特征解码。损失函数的设计也针对多视角信息的聚合进行了优化，以提升模型的整体性能。

📊 实验亮点

在Occ3D nuScenes和Waymo数据集上的实验结果表明，LaGS在4D全景占用跟踪任务中达到了最新的性能，超越了现有基线方法，具体提升幅度达到XX%（具体数据需参考原文）。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过实现高效的4D全景占用跟踪，LaGS能够帮助机器人在复杂和动态的环境中更安全地进行操作，提升其智能化水平和应用价值。

📄 摘要（原文）

Capturing 4D spatiotemporal surroundings is crucial for the safe and reliable operation of robots in dynamic environments. However, most existing methods address only one side of the problem: they either provide coarse geometric tracking via bounding boxes, or detailed 3D structures like voxel-based occupancy that lack explicit temporal association. In this work, we present Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking (LaGS) that advances spatiotemporal scene understanding in a holistic direction. Our approach incorporates camera-based end-to-end tracking with mask-based multi-view panoptic occupancy prediction, and addresses the key challenge of efficiently aggregating multi-view information into 3D voxel grids via a novel latent Gaussian splatting approach. Specifically, we first fuse observations into 3D Gaussians that serve as a sparse point-centric latent representation of the 3D scene, and then splat the aggregated features onto a 3D voxel grid that is decoded by a mask-based segmentation head. We evaluate LaGS on the Occ3D nuScenes and Waymo datasets, achieving state-of-the-art performance for 4D panoptic occupancy tracking. We make our code available atthis https URL.