2D-3D Interlaced Transformer for Point Cloud Segmentation with Scene-Level Supervision

📄 arXiv: 2310.12817v2 📥 PDF

作者: Cheng-Kun Yang, Min-Hung Chen, Yung-Yu Chuang, Yen-Yu Lin

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-19 (更新: 2024-01-22)

备注: ICCV 2023 (main + supp). Website: https://jimmy15923.github.io/mit_web/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出多模态交错变换器以解决弱监督点云分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点云分割 弱监督学习 多模态融合 变换器 自注意力机制 3D视觉 特征融合

📋 核心要点

  1. 现有的点云分割方法通常依赖于大量的2D标注，导致高昂的标注成本，限制了其应用。
  2. 本文提出了一种新颖的变换器架构，通过两个编码器和一个解码器实现2D和3D特征的弱监督融合，降低了对标注的依赖。
  3. 实验结果显示，该方法在S3DIS和ScanNet数据集上相较于现有方法有显著的性能提升，验证了其有效性。

📝 摘要（中文）

本文提出了一种多模态交错变换器（MIT），旨在联合考虑2D和3D数据进行弱监督点云分割。研究表明，2D和3D特征在点云分割中具有互补性。然而，现有方法需要额外的2D标注以实现2D-3D信息融合，导致高昂的标注成本。因此，基于弱监督学习的有效2D和3D特征融合显得尤为重要。我们提出的变换器模型包含两个编码器和一个解码器，仅使用场景级类别标签进行弱监督点云分割。实验结果表明，该方法在S3DIS和ScanNet基准测试上相较于现有的弱监督点云分割方法有显著提升。

🔬 方法详解

问题定义：本文旨在解决点云分割中的弱监督学习问题，现有方法依赖于大量的2D标注，导致标注成本高昂，限制了其广泛应用。

核心思路：提出的多模态交错变换器（MIT）通过两个编码器分别处理3D点云和2D多视图图像，利用场景级类别标签进行弱监督学习，实现2D和3D特征的有效融合。

技术框架：该模型由两个编码器和一个解码器组成。编码器计算3D点云和2D图像的自注意特征，解码器则实现交错的2D-3D跨注意力机制，进行隐式特征融合。

关键创新：最重要的创新在于交错的2D-3D跨注意力机制，通过交替切换查询和键值对的角色，使得2D和3D特征能够相互丰富，提升了特征融合的效果。

关键设计：模型设计中，采用了自注意力机制来提取特征，损失函数则基于场景级标签进行优化，确保模型在弱监督条件下依然能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的MIT模型在S3DIS和ScanNet基准测试上相较于现有弱监督点云分割方法有显著提升，具体性能提升幅度达到XX%（具体数据待补充），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升点云数据的处理效率和准确性。未来，该方法有望推动弱监督学习在三维视觉任务中的广泛应用，降低对标注数据的依赖。

📄 摘要（原文）

We present a Multimodal Interlaced Transformer (MIT) that jointly considers 2D and 3D data for weakly supervised point cloud segmentation. Research studies have shown that 2D and 3D features are complementary for point cloud segmentation. However, existing methods require extra 2D annotations to achieve 2D-3D information fusion. Considering the high annotation cost of point clouds, effective 2D and 3D feature fusion based on weakly supervised learning is in great demand. To this end, we propose a transformer model with two encoders and one decoder for weakly supervised point cloud segmentation using only scene-level class tags. Specifically, the two encoders compute the self-attended features for 3D point clouds and 2D multi-view images, respectively. The decoder implements interlaced 2D-3D cross-attention and carries out implicit 2D and 3D feature fusion. We alternately switch the roles of queries and key-value pairs in the decoder layers. It turns out that the 2D and 3D features are iteratively enriched by each other. Experiments show that it performs favorably against existing weakly supervised point cloud segmentation methods by a large margin on the S3DIS and ScanNet benchmarks. The project page will be available at https://jimmy15923.github.io/mit_web/.