LitePT: Lighter Yet Stronger Point Transformer

📄 arXiv: 2512.13689v1 📥 PDF

作者: Yuanwen Yue, Damien Robert, Jianyuan Wang, Sunghwan Hong, Jan Dirk Wegner, Christian Rupprecht, Konrad Schindler

分类: cs.CV

发布日期: 2025-12-15

备注: Project page: https://litept.github.io/

🔗 代码/项目: GITHUB

💡 一句话要点

LitePT：一种更轻量但更强大的点云Transformer，通过卷积与注意力机制的有效结合提升性能。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 点云处理 Transformer 注意力机制 卷积神经网络 位置编码 轻量化模型 三维重建

📋 核心要点

  1. 现有3D点云处理架构在卷积和注意力模块的组合方式上存在不明确性，如何有效利用两者优势是核心问题。
  2. LitePT的核心思想是早期使用卷积提取局部几何特征，后期使用注意力机制捕获全局上下文信息，并结合PointROPE保持空间信息。
  3. 实验表明，LitePT在显著减少参数量、运行时间和内存占用的同时，在多个任务和数据集上匹配甚至超越了Point Transformer V3的性能。

📝 摘要（中文）

本文分析了3D点云网络中不同计算模块的作用，发现卷积适合在早期高分辨率层提取低级几何特征，而注意力机制更有效地捕捉低分辨率深层网络中的高级语义和上下文信息。基于此，本文提出了一种改进的3D点云骨干网络LitePT，在早期阶段采用卷积，并在更深层切换到注意力机制。为了避免丢弃冗余卷积层时丢失空间布局信息，引入了一种新的、无需训练的3D位置编码PointROPE。实验结果表明，LitePT模型比最先进的Point Transformer V3参数量减少了3.6倍，运行速度提高了2倍，内存使用量减少了2倍，但在各种任务和数据集上仍能达到甚至超过其性能。

🔬 方法详解

问题定义：现有3D点云处理网络通常混合使用卷积和注意力机制，但如何有效组合它们以达到最佳性能并不明确。现有方法可能存在参数量大、计算效率低的问题，尤其是在高分辨率点云上使用注意力机制时，计算成本会显著增加。此外，如何避免在简化网络结构时丢失重要的空间信息也是一个挑战。

核心思路：论文的核心思路是根据卷积和注意力机制各自的优势，在网络的不同阶段选择性地使用它们。具体来说，在网络的早期阶段，使用卷积来提取局部几何特征，因为此时点云分辨率较高，卷积能够有效地捕捉局部细节。在网络的后期阶段，切换到注意力机制，以捕获全局上下文信息，因为此时点云分辨率较低，注意力机制的计算成本相对较低，并且能够更好地建模点云之间的关系。

技术框架：LitePT的整体架构包括三个主要阶段：输入处理、特征提取和输出预测。在输入处理阶段，对原始点云进行预处理，例如归一化和采样。在特征提取阶段，LitePT首先使用多个卷积层来提取低级几何特征，然后逐渐过渡到注意力层以捕获高级语义信息。PointROPE模块被集成到特征提取阶段，以保持空间信息。最后，在输出预测阶段，使用全连接层或卷积层将提取的特征映射到最终的预测结果。

关键创新：论文的关键创新点在于提出了一个轻量级的3D点云骨干网络LitePT，它通过在网络的不同阶段选择性地使用卷积和注意力机制，实现了在性能和效率之间的平衡。此外，论文还提出了PointROPE，一种无需训练的3D位置编码方法，用于在简化网络结构时保持空间信息。与现有方法相比，LitePT在参数量、计算效率和内存占用方面具有显著优势，同时保持了甚至超越了现有方法的性能。

关键设计：LitePT的关键设计包括：1) 卷积层和注意力层的数量和配置，需要根据具体的任务和数据集进行调整；2) PointROPE的具体实现方式，包括旋转角度和位置编码的维度；3) 损失函数的选择，例如交叉熵损失或Dice损失，用于训练网络。

📊 实验亮点

实验结果表明，LitePT在ModelNet40、ScanObjectNN等数据集上取得了与Point Transformer V3相当甚至更好的性能，同时参数量减少了3.6倍，运行速度提高了2倍，内存使用量减少了2倍。例如，在ScanObjectNN数据集上，LitePT的整体准确率与Point Transformer V3相当，但计算效率显著提高。

🎯 应用场景

LitePT在自动驾驶、机器人导航、三维重建、场景理解等领域具有广泛的应用前景。其轻量化的设计使其能够部署在资源受限的设备上，例如移动机器人和嵌入式系统。通过高效地处理3D点云数据，LitePT可以帮助这些设备更好地感知周围环境，从而实现更智能、更可靠的决策。

📄 摘要（原文）

Modern neural architectures for 3D point cloud processing contain both convolutional layers and attention blocks, but the best way to assemble them remains unclear. We analyse the role of different computational blocks in 3D point cloud networks and find an intuitive behaviour: convolution is adequate to extract low-level geometry at high-resolution in early layers, where attention is expensive without bringing any benefits; attention captures high-level semantics and context in low-resolution, deep layers more efficiently. Guided by this design principle, we propose a new, improved 3D point cloud backbone that employs convolutions in early stages and switches to attention for deeper layers. To avoid the loss of spatial layout information when discarding redundant convolution layers, we introduce a novel, training-free 3D positional encoding, PointROPE. The resulting LitePT model has $3.6\times$ fewer parameters, runs $2\times$ faster, and uses $2\times$ less memory than the state-of-the-art Point Transformer V3, but nonetheless matches or even outperforms it on a range of tasks and datasets. Code and models are available at: https://github.com/prs-eth/LitePT.