RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation
作者: Paul Julius Kühn, Duc Anh Nguyen, Arjan Kuijper, Holger Graf, Saptarshi Neil Sinha
分类: cs.CV
发布日期: 2025-09-19 (更新: 2025-11-13)
💡 一句话要点
RangeSAM：探索视觉基础模型在激光雷达Range-View分割中的潜力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 激光雷达分割 Range-View 视觉基础模型 SAM2 自动驾驶
📋 核心要点
- 现有点云分割方法计算成本高，内存访问不规则，实时性差，难以满足自动驾驶等场景需求。
- 提出RangeSAM框架，利用视觉基础模型SAM2作为Range-View激光雷达点云分割的骨干网络。
- 通过架构修改优化SAM2，在SemanticKITTI数据集上实现了具有竞争力的性能，并提升了速度和可扩展性。
📝 摘要（中文）
点云分割是自动驾驶和三维场景理解的核心。虽然基于体素和点的方法因其与深度架构的兼容性以及捕获细粒度几何信息的能力而在最近的研究中占据主导地位，但它们通常会产生高计算成本、不规则的内存访问和有限的实时效率。相比之下，Range-View方法虽然相对未被充分探索，但可以利用成熟的二维语义分割技术来实现快速而准确的预测。受到视觉基础模型（VFM）在字幕生成、零样本识别和多模态任务方面快速进展的推动，我们研究了SAM2（当前最先进的分割VFM）是否可以作为Range-View表示的激光雷达点云分割的强大骨干网络。我们提出了RangeSAM，据我们所知，这是第一个将SAM2适配于三维分割的Range-View框架，将高效的二维特征提取与标准投影/反投影相结合，以处理点云。为了优化SAM2用于Range-View表示，我们对编码器进行了一些架构修改：（1）一个强调激光雷达Range图像中固有的水平空间依赖性的新模块，（2）一个针对球面投影的几何属性定制的配置，以及（3）一个在编码器骨干中专门设计的自适应机制，用于捕获Range-View伪图像中存在的独特空间模式和不连续性。我们的方法在SemanticKITTI上实现了具有竞争力的性能，同时受益于二维中心管道的速度、可扩展性和部署简单性。这项工作突出了VFM作为三维感知通用骨干网络的可行性，并开辟了一条通往统一的、由基础模型驱动的激光雷达分割的道路。结果让我们得出结论，使用VFM的Range-View分割方法会带来有希望的结果。
🔬 方法详解
问题定义：论文旨在解决激光雷达点云分割问题，现有基于体素和点的方法计算成本高，内存访问不规则，实时性差。Range-View方法虽然速度快，但未充分利用视觉基础模型(VFM)的强大能力。
核心思路：论文的核心思路是将视觉基础模型SAM2应用于Range-View激光雷达点云分割。通过将三维点云投影到二维Range图像，利用SAM2强大的二维分割能力，同时结合高效的投影和反投影，实现快速且准确的三维分割。
技术框架：RangeSAM框架主要包含以下几个阶段：1) 将三维点云投影到二维Range图像；2) 使用改进的SAM2编码器提取Range图像的特征；3) 使用SAM2解码器进行分割；4) 将分割结果反投影回三维点云。其中，SAM2编码器是关键模块，针对Range图像的特点进行了优化。
关键创新：论文的关键创新在于将视觉基础模型SAM2应用于Range-View激光雷达点云分割，并针对Range图像的特点对SAM2的编码器进行了优化。具体包括：1) 引入了一个强调水平空间依赖性的模块；2) 针对球面投影的几何属性定制了配置；3) 设计了一个自适应机制，用于捕获Range图像中存在的独特空间模式和不连续性。
关键设计：论文针对Range图像的特点，对SAM2编码器进行了以下关键设计：1) 水平空间依赖性模块：通过卷积或注意力机制，增强模型对Range图像水平方向上连续性的理解；2) 球面投影定制配置：根据Range图像的球面投影特性，调整卷积核的大小和步长，以更好地适应几何形变；3) 自适应机制：通过引入额外的注意力层或门控机制，使模型能够更好地关注Range图像中的不连续区域，例如物体边缘。
🖼️ 关键图片
📊 实验亮点
RangeSAM在SemanticKITTI数据集上取得了具有竞争力的性能，证明了视觉基础模型在Range-View激光雷达点云分割中的有效性。该方法受益于二维中心管道的速度和可扩展性，为未来的三维感知研究提供了一种新的思路。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、三维场景理解等领域。通过利用视觉基础模型，可以提高激光雷达点云分割的精度和效率，从而提升自动驾驶系统的感知能力和安全性。未来，该方法有望推广到其他三维感知任务中，例如目标检测和场景重建。
📄 摘要（原文）
Point cloud segmentation is central to autonomous driving and 3D scene understanding. While voxel- and point-based methods dominate recent research due to their compatibility with deep architectures and ability to capture fine-grained geometry, they often incur high computational cost, irregular memory access, and limited real-time efficiency. In contrast, range-view methods, though relatively underexplored - can leverage mature 2D semantic segmentation techniques for fast and accurate predictions. Motivated by the rapid progress in Visual Foundation Models (VFMs) for captioning, zero-shot recognition, and multimodal tasks, we investigate whether SAM2, the current state-of-the-art VFM for segmentation tasks, can serve as a strong backbone for LiDAR point cloud segmentation in the range view. We present , to our knowledge, the first range-view framework that adapts SAM2 to 3D segmentation, coupling efficient 2D feature extraction with standard projection/back-projection to operate on point clouds. To optimize SAM2 for range-view representations, we implement several architectural modifications to the encoder: (1) a novel module that emphasizes horizontal spatial dependencies inherent in LiDAR range images, (2) a customized configuration of tailored to the geometric properties of spherical projections, and (3) an adapted mechanism in the encoder backbone specifically designed to capture the unique spatial patterns and discontinuities present in range-view pseudo-images. Our approach achieves competitive performance on SemanticKITTI while benefiting from the speed, scalability, and deployment simplicity of 2D-centric pipelines. This work highlights the viability of VFMs as general-purpose backbones for 3D perception and opens a path toward unified, foundation-model-driven LiDAR segmentation. Results lets us conclude that range-view segmentation methods using VFMs leads to promising results.