Vanilla ViT for Automotive Point Cloud Semantic Segmentation

📄 arXiv: 2605.31177v1 📥 PDF

作者: Gilles Puy, Nermin Samet, Alexandre Boulch, Spyros Gidaris, Tuan-Hung VU, Renaud Marlet

分类: cs.CV

发布日期: 2026-05-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出VaViT，使用Vanilla ViT进行汽车点云语义分割，性能媲美SOTA方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点云语义分割 Transformer ViT 自动驾驶 激光雷达

📋 核心要点

  1. 现有点云语义分割方法主要依赖U-Net架构，卷积与局部注意力结合，复杂度较高。
  2. VaViT采用vanilla ViT，通过tokenizer、轻量级分割头和数据增强，简化了架构设计。
  3. 实验表明，VaViT在多个自动驾驶数据集上达到或超过SOTA性能，验证了其有效性。

📝 摘要（中文）

Transformer架构已成为处理文本、音频、图像和视频的事实标准，为多模态学习提供了一个统一的骨干网络。然而，目前点云语义分割的最先进架构仍然以U-Net架构为主，其中卷积与局部或窗口注意力机制交错使用。本文展示了如何有效地利用vanilla、非层级的ViT进行大规模汽车激光雷达场景的分割。通过精心设计的tokenizer、轻量级的解码器分割头和定制的数据增强，弥补了性能差距。我们的方法，即Vanilla ViT (VaViT)，在保持ViT架构简单性的同时，匹配或超过了最先进方法的性能。我们在nuScenes、SemanticKITTI和Waymo Open Dataset上进行了广泛的评估，以验证我们方法的有效性。代码和模型可在https://github.com/valeoai/VaViT 获取。

🔬 方法详解

问题定义：论文旨在解决大规模汽车激光雷达点云的语义分割问题。现有方法，如基于U-Net的架构，虽然取得了不错的效果，但通常较为复杂，依赖于卷积和局部注意力机制的组合，计算成本较高，并且可能难以充分利用全局上下文信息。

核心思路：论文的核心思路是利用vanilla ViT（非层级ViT）的全局感受野能力，直接对点云进行语义分割。通过精心设计的tokenizer将点云转换为ViT可以处理的token序列，并使用轻量级的解码器分割头进行像素级别的预测。这种方法旨在简化网络结构，同时保持甚至提升分割性能。

技术框架：VaViT的整体框架包括三个主要模块：1) Tokenizer：将原始点云数据转换为ViT可处理的token序列。具体实现方式未知，但推测可能涉及体素化、点云采样或特征提取等操作。2) Vanilla ViT：使用标准的ViT架构进行特征提取，捕捉全局上下文信息。3) Segmentation Head：一个轻量级的解码器，将ViT提取的特征映射到像素级别的语义分割结果。

关键创新：该论文的关键创新在于成功地将vanilla ViT应用于点云语义分割任务，并取得了与SOTA方法相当甚至更好的性能。与现有方法相比，VaViT避免了复杂的卷积和局部注意力机制，简化了网络结构，降低了计算成本。此外，定制的数据增强策略也对性能提升起到了重要作用。

关键设计：论文的关键设计包括：1) Tokenizer的具体实现方式（未知，但对性能至关重要）。2) Segmentation Head的结构（轻量级，具体结构未知）。3) 数据增强策略（定制，具体策略未知）。这些设计共同保证了VaViT在点云语义分割任务上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VaViT在nuScenes、SemanticKITTI和Waymo Open Dataset等多个大规模自动驾驶数据集上进行了评估，结果表明，VaViT在保持ViT架构简单性的同时，匹配或超过了最先进方法的性能。具体的性能数据和提升幅度未知，但摘要强调了其有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、三维场景理解等领域。通过高效的点云语义分割，可以帮助自动驾驶车辆准确识别周围环境中的物体，例如车辆、行人、道路等，从而提高驾驶安全性。此外，该方法还可以用于构建高精地图、进行城市规划等。

📄 摘要（原文）

Plain Transformers have become the de-facto architecture for processing text, audio, image, and video, offering a unified backbone for multimodal learning. However, state-of-the-art architectures for point cloud semantic segmentation remain dominated by U-Nets architectures where convolutions are interleaved with local or windowed attentions. In this work, we show how to effectively leverage vanilla, non-hierarchical ViTs for segmentation of large-scale automotive lidar scenes. We bridge the performance gap thanks to a carefully designed tokenizer, a lightweight decoder segmentation head, and tailored data augmentations. Our approach, VaViT for Vanilla ViT, matches or exceeds the performance of state-of-the-art methods while maintaining the simplicity of ViT architecture. We provide extensive evaluations on nuScenes, SemanticKITTI, and Waymo Open Dataset to validate the efficiency of our method. Code and models are available at https://github.com/valeoai/VaViT.