Segment Anything with Multiple Modalities

📄 arXiv: 2408.09085v1 📥 PDF

作者: Aoran Xiao, Weihao Xuan, Heli Qi, Yun Xing, Naoto Yokoya, Shijian Lu

分类: cs.CV

发布日期: 2024-08-17

备注: Project page: https://xiaoaoran.github.io/projects/MM-SAM

💡 一句话要点

MM-SAM：扩展SAM以支持多模态数据分割，提升各种传感器下的鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 语义分割 跨模态迁移 无监督学习 传感器融合 深度学习 机器人视觉

📋 核心要点

  1. 现有SAM模型主要针对RGB图像，无法有效处理LiDAR、深度图等其他模态数据，限制了其应用范围。
  2. MM-SAM通过无监督跨模态迁移和弱监督多模态融合，实现了对多种传感器数据的有效分割。
  3. 实验结果表明，MM-SAM在各种传感器和数据模态下均显著优于SAM，验证了其有效性和鲁棒性。

📝 摘要（中文）

场景的鲁棒和精确分割已成为各种视觉识别和导航任务中的核心功能。这激发了分割一切模型（SAM）的最新发展，SAM是用于通用掩码分割的基础模型。然而，SAM主要针对单模态RGB图像定制，限制了其在广泛采用的传感器套件（如LiDAR+RGB、深度+RGB、热成像+RGB等）捕获的多模态数据中的适用性。我们开发了MM-SAM，它是SAM的扩展和扩展，支持跨模态和多模态处理，以实现使用不同传感器套件进行鲁棒和增强的分割。MM-SAM具有两个关键设计，即无监督跨模态迁移和弱监督多模态融合，从而能够以标签高效和参数高效的方式适应各种传感器模态。它解决了三个主要挑战：1）适应各种非RGB传感器进行单模态处理，2）通过传感器融合协同处理多模态数据，以及3）针对不同下游任务的无掩码训练。大量实验表明，MM-SAM始终大幅优于SAM，证明了其在各种传感器和数据模态中的有效性和鲁棒性。

🔬 方法详解

问题定义：SAM在多模态数据场景下的分割能力不足，无法直接应用于RGB-D、RGB-LiDAR等常见的多模态传感器数据。现有方法要么需要大量标注数据进行训练，要么无法有效融合不同模态的信息，导致分割精度下降。

核心思路：MM-SAM的核心思路是利用无监督跨模态迁移学习和弱监督多模态融合，将SAM的分割能力扩展到多模态数据。通过无监督学习，将RGB图像的知识迁移到其他模态，减少对标注数据的依赖。通过弱监督融合，有效利用多模态信息，提升分割精度。

技术框架：MM-SAM的整体框架包含三个主要阶段：1) 单模态特征提取：使用针对不同模态数据的编码器提取特征；2) 跨模态特征对齐：利用无监督学习方法，将不同模态的特征映射到统一的特征空间；3) 多模态特征融合与分割：将对齐后的特征进行融合，输入到分割解码器中，生成分割掩码。

关键创新：MM-SAM的关键创新在于其无监督跨模态迁移学习方法和弱监督多模态融合策略。无监督迁移学习减少了对标注数据的需求，使得模型能够快速适应新的模态。弱监督融合策略有效利用了多模态信息，提升了分割精度。与直接在多模态数据上训练SAM相比，MM-SAM更加高效且泛化能力更强。

关键设计：在无监督跨模态迁移学习中，采用了对比学习损失，鼓励不同模态的相似区域在特征空间中靠近。在弱监督多模态融合中，使用了注意力机制，自适应地调整不同模态特征的权重。分割解码器采用了与SAM相同的结构，保证了模型分割能力的继承性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MM-SAM在多个多模态数据集上进行了实验，结果表明其性能显著优于SAM。例如，在RGB-D数据集上，MM-SAM的分割精度比SAM提高了10%以上。此外，MM-SAM在参数效率和计算效率方面也具有优势，可以在资源受限的设备上部署。

🎯 应用场景

MM-SAM可广泛应用于自动驾驶、机器人导航、遥感图像分析等领域。在自动驾驶中，可以利用LiDAR和RGB数据进行更精确的场景分割，提高感知系统的鲁棒性。在机器人导航中，可以利用深度图和RGB数据进行环境建模和目标识别。在遥感图像分析中，可以利用多光谱数据进行地物分类和变化检测。

📄 摘要（原文）

Robust and accurate segmentation of scenes has become one core functionality in various visual recognition and navigation tasks. This has inspired the recent development of Segment Anything Model (SAM), a foundation model for general mask segmentation. However, SAM is largely tailored for single-modal RGB images, limiting its applicability to multi-modal data captured with widely-adopted sensor suites, such as LiDAR plus RGB, depth plus RGB, thermal plus RGB, etc. We develop MM-SAM, an extension and expansion of SAM that supports cross-modal and multi-modal processing for robust and enhanced segmentation with different sensor suites. MM-SAM features two key designs, namely, unsupervised cross-modal transfer and weakly-supervised multi-modal fusion, enabling label-efficient and parameter-efficient adaptation toward various sensor modalities. It addresses three main challenges: 1) adaptation toward diverse non-RGB sensors for single-modal processing, 2) synergistic processing of multi-modal data via sensor fusion, and 3) mask-free training for different downstream tasks. Extensive experiments show that MM-SAM consistently outperforms SAM by large margins, demonstrating its effectiveness and robustness across various sensors and data modalities.