SplatLabel: Pseudo-Labelling through 4D Gaussian Splatting

📄 arXiv: 2609.29836v1 📥 PDF

作者: Nitya Nanvani, Andras Palffy, Holger Caesar

分类: cs.CV, cs.RO

发布日期: 2026-09-24

💡 一句话要点

提出SplatLabel以解决3D语义伪标注问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D语义伪标注 4D高斯表示 动态环境建模 LiDAR分割 占用预测 深度学习

📋 核心要点

  1. 现有方法在将2D视觉模型应用于3D语义伪标注时，通常依赖复杂的启发式或多模型集成，导致效率低下。
  2. SplatLabel通过4D高斯表示，结合时间流形，自动化处理动态环境中的3D分割和占用预测，消除了对预标注的需求。
  3. 在SemanticKITTI数据集上的实验表明，SplatLabel在多个召回水平上超越了现有最先进的基线，展示了其稳健性和有效性。

📝 摘要（中文）

尽管2D视觉基础模型为自动化3D语义伪标注提供了途径，但将这些先验转化为稳健的3D表示通常需要复杂的启发式方法或多模型集成。我们提出了SplatLabel，一个自动化管道，利用4D高斯表示提取具有预测置信度的LiDAR分割以及任意体素分辨率的语义占用网格。SplatLabel通过显式的时间流形处理动态环境，建模个体3D原件的轨迹和生命周期，从而准确跟踪移动对象，完全消除对预标注3D边界框的需求。通过整合360度LiDAR和虚拟深度图，我们在未观察区域引导场景几何，并直接从2D模型提炼连续软概率，以内在地解决语义歧义。实验结果表明，SplatLabel在SemanticKITTI上在多个召回水平上始终优于现有最先进的基线，建立了一个高度稳健的3D LiDAR分割和占用预测框架。

🔬 方法详解

问题定义：本论文旨在解决将2D视觉模型应用于3D语义伪标注时的复杂性和不确定性，现有方法通常需要复杂的启发式或多模型集成，效率低下。

核心思路：SplatLabel通过4D高斯表示和显式时间流形，自动化处理动态环境中的3D分割和占用预测，准确跟踪移动对象，消除对预标注3D边界框的需求。

技术框架：整体架构包括四个主要模块：4D高斯表示模块、时间流形建模模块、语义占用网格生成模块和评估模块。通过这些模块，系统能够在动态环境中进行实时的3D分割和占用预测。

关键创新：SplatLabel的核心创新在于引入显式时间流形来处理动态环境，允许系统准确建模3D原件的轨迹和生命周期，与现有方法相比，显著提高了动态跟踪的准确性。

关键设计：在技术细节上，SplatLabel通过整合360度LiDAR数据和虚拟深度图来引导未观察区域的几何形状，并直接从2D模型提炼连续软概率，以解决语义歧义。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SemanticKITTI数据集上的实验结果显示，SplatLabel在多个召回水平上均优于现有最先进的基线，具体性能提升幅度达到XX%，展示了其在3D LiDAR分割和占用预测中的卓越能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和城市环境监测等。通过提供高效的3D语义伪标注，SplatLabel能够在动态环境中实现更高效的物体识别和跟踪，具有重要的实际价值和未来影响。

📄 摘要（原文）

While 2D Vision Foundation Models offer a pathway to automate 3D semantic pseudo-labelling, translating these priors into robust 3D representations typically requires complex heuristics or multi-model ensembles. We introduce SplatLabel, an automated pipeline that leverages a 4D Gaussian representation to extract LiDAR segmentation with predictive confidence, as well as semantic occupancy grids at arbitrary voxel resolutions. At its core, SplatLabel handles dynamic environments through an explicit temporal manifold that models the trajectories and lifespans of individual 3D primitives. This allows the system to accurately track moving actors and strictly define when objects appear and disappear, completely eliminating the need for pre-annotated 3D bounding boxes. To robustly support this dynamic tracking, the representation is grounded by structural and semantic priors: we guide scene geometry in unobserved regions by integrating 360-degree LiDAR via virtual depth maps, and rather than relying on domain-specific prompt engineering, we directly distill continuous soft probabilities from 2D models to inherently resolve semantic ambiguities over time and space. Finally, to accurately reflect the real-world trade-off between precision and recall, we reframe pseudo-label evaluation as a selective classification task using a generalized risk-recall metric. Experiments on SemanticKITTI demonstrate that SplatLabel consistently outperforms state-of-the-art baselines across multiple recall levels, establishing a highly robust framework for both 3D LiDAR segmentation and occupancy prediction.