RayMamba: Ray-Aligned Serialization for Long-Range 3D Object Detection

📄 arXiv: 2604.02903 📥 PDF

作者: Cheng Lu, Mingqian Ji, Shanshan Zhang, Zhihao Li, Jian Yang

分类: cs.CV, cs.AI

发布日期: 2026-04-06

💡 一句话要点

RayMamba：通过射线对齐序列化增强远距离3D目标检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D目标检测 远距离感知 激光雷达 状态空间模型 序列化 射线对齐 上下文建模

📋 核心要点

  1. 远距离3D目标检测中，激光雷达数据稀疏且分散，导致现有方法难以有效建模上下文信息。
  2. RayMamba通过射线对齐的序列化策略，将体素组织成有序序列，保留方向连续性和遮挡上下文。
  3. 实验表明，RayMamba在nuScenes和Argoverse 2数据集上均取得了显著的性能提升，尤其是在远距离检测方面。

📝 摘要（中文）

远距离3D目标检测面临挑战，因为激光雷达观测在远场变得高度稀疏和碎片化，使得现有检测器难以进行可靠的上下文建模。为了解决这个问题，最近基于状态空间模型（SSM）的方法提高了远距离建模效率。然而，它们的有效性仍然受到通用序列化策略的限制，这些策略无法在稀疏场景中保留有意义的上下文邻域。为了解决这个问题，我们提出RayMamba，一种几何感知的即插即用增强模块，用于基于体素的3D检测器。RayMamba通过射线对齐的序列化策略将稀疏体素组织成扇区顺序的序列，从而为后续基于Mamba的建模保留方向连续性和遮挡相关的上下文。它与仅使用激光雷达和多模态检测器兼容，同时只引入适度的开销。在nuScenes和Argoverse 2上的大量实验表明，在强大的基线上实现了持续的改进。特别是在nuScenes上具有挑战性的40-50米范围内，RayMamba实现了高达2.49 mAP和1.59 NDS的增益，并在Argoverse 2上进一步将VoxelNeXt的mAP从30.3提高到31.2。

🔬 方法详解

问题定义：论文旨在解决远距离3D目标检测中，由于激光雷达数据在远距离变得稀疏和碎片化，导致现有检测器难以有效进行上下文建模的问题。现有方法采用的通用序列化策略无法在稀疏场景中保留有意义的上下文邻域，限制了检测性能。

核心思路：论文的核心思路是提出一种几何感知的序列化策略，即Ray-Aligned Serialization。该策略根据激光雷达射线的方向，将体素组织成有序的序列，从而保留方向连续性和遮挡相关的上下文信息。这种设计能够更好地利用稀疏数据中的几何结构，提高远距离目标检测的准确性。

技术框架：RayMamba是一个即插即用的模块，可以集成到现有的基于体素的3D目标检测器中。其主要流程包括：首先，将3D空间划分为体素；然后，对于每个体素，根据其与激光雷达传感器的相对位置，确定其所属的扇区；接着，在每个扇区内，按照射线方向对体素进行排序，形成有序序列；最后，将这些序列输入到基于Mamba的状态空间模型中进行上下文建模。

关键创新：RayMamba的关键创新在于提出了射线对齐的序列化策略。与传统的通用序列化策略不同，RayMamba充分考虑了激光雷达数据的几何特性，能够更好地保留方向连续性和遮挡相关的上下文信息。这种策略使得Mamba模型能够更有效地利用稀疏数据，提高远距离目标检测的性能。

关键设计：RayMamba的关键设计包括：扇区划分方式，射线排序规则，以及Mamba模型的配置。扇区划分方式影响了序列的长度和方向连续性；射线排序规则决定了序列中体素的排列顺序；Mamba模型的配置，如层数、隐藏单元数等，影响了模型的容量和计算复杂度。论文中可能包含对这些参数的具体设置和优化方法，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RayMamba在nuScenes数据集上，在40-50米范围内实现了高达2.49 mAP和1.59 NDS的增益。在Argoverse 2数据集上，RayMamba将VoxelNeXt的mAP从30.3提高到31.2。这些结果表明，RayMamba能够显著提高远距离3D目标检测的性能，并且具有良好的泛化能力。

🎯 应用场景

RayMamba技术可应用于自动驾驶、机器人导航、智能交通等领域。通过提高远距离3D目标检测的准确性，可以增强自动驾驶车辆对周围环境的感知能力，从而提高行驶安全性。此外，该技术还可以用于构建更精确的3D地图，为机器人导航提供更可靠的信息，并为智能交通系统的优化提供数据支持。

📄 摘要（原文）

Long-range 3D object detection remains challenging because LiDAR observations become highly sparse and fragmented in the far field, making reliable context modeling difficult for existing detectors. To address this issue, recent state space model (SSM)-based methods have improved long-range modeling efficiency. However, their effectiveness is still limited by generic serialization strategies that fail to preserve meaningful contextual neighborhoods in sparse scenes. To address this issue, we propose RayMamba, a geometry-aware plug-and-play enhancement for voxel-based 3D detectors. RayMamba organizes sparse voxels into sector-wise ordered sequences through a ray-aligned serialization strategy, which preserves directional continuity and occlusion-related context for subsequent Mamba-based modeling. It is compatible with both LiDAR-only and multimodal detectors, while introducing only modest overhead. Extensive experiments on nuScenes and Argoverse 2 demonstrate consistent improvements across strong baselines. In particular, RayMamba achieves up to 2.49 mAP and 1.59 NDS gain in the challenging 40--50 m range on nuScenes, and further improves VoxelNeXt on Argoverse 2 from 30.3 to 31.2 mAP.