RMMSS: Towards Advanced Robust Multi-Modal Semantic Segmentation with Hybrid Prototype Distillation and Feature Selection

📄 arXiv: 2505.12861v2 📥 PDF

作者: Jiaqi Tan, Xu Zheng, Yang Liu

分类: cs.CV

发布日期: 2025-05-19 (更新: 2025-08-18)

💡 一句话要点

RMMSS：面向鲁棒多模态语义分割，提出混合原型蒸馏与特征选择框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态语义分割 鲁棒性 知识蒸馏 特征选择 原型学习 跨模态学习

📋 核心要点

  1. 现有方法在多模态语义分割中，忽略了模态间的相关性，导致在完整模态数据下性能下降。
  2. RMMSS框架通过混合原型蒸馏和特征选择，增强模型在缺失模态下的鲁棒性，同时保持完整模态下的性能。
  3. 实验结果表明，RMMSS在缺失模态性能上显著提升，且完整模态性能几乎没有下降，验证了框架的有效性。

📝 摘要（中文）

多模态语义分割(MMSS)在实际应用中面临传感器数据不完整、退化或缺失的挑战。现有MMSS方法通常采用带模态dropout的自蒸馏来提高鲁棒性，但很大程度上忽略了模态间的相关性，导致在模态数据完整时性能显著下降。为此，我们提出了RMMSS，一个两阶段框架，旨在逐步增强模型在缺失模态条件下的鲁棒性，同时保持在完整模态场景下的强大性能。它包含两个关键组件：混合原型蒸馏模块(HPDM)和特征选择模块(FSM)。在第一阶段，我们使用完整模态数据预训练教师模型，然后引入HPDM进行跨模态知识蒸馏，以获得高度鲁棒的模型。在第二阶段，我们冻结预训练的完整模态教师模型和鲁棒模型，并提出一个可训练的FSM，通过特征评分计算从模型的特征和logits层提取最佳表示。这个过程学习到一个最终的学生模型，该模型在保持强大鲁棒性的同时，在完整模态条件下实现高性能。在三个数据集上的实验表明，与最先进的方法相比，我们的方法在缺失模态性能上分别提高了2.80%、3.89%和0.89%，同时在完整模态性能上几乎没有下降（仅-0.1% mIoU）。同时，利用不同的骨干网络（AnySeg和CMNeXt）来验证我们框架的通用性。

🔬 方法详解

问题定义：多模态语义分割在实际应用中面临数据缺失或损坏的问题，现有方法虽然通过模态dropout等方式提高鲁棒性，但往往忽略了模态间的关联，导致在数据完整时性能下降。因此，如何在保证鲁棒性的同时，维持甚至提升完整数据下的性能，是本文要解决的核心问题。

核心思路：本文的核心思路是分阶段地提升模型的鲁棒性，并利用知识蒸馏将鲁棒模型的知识迁移到学生模型，同时通过特征选择模块，让学生模型学习到更有效的特征表示，从而在保证鲁棒性的前提下，提升完整数据下的性能。这种分阶段训练和知识迁移的策略，能够有效地平衡鲁棒性和性能。

技术框架：RMMSS框架包含两个主要阶段：第一阶段是使用混合原型蒸馏模块(HPDM)进行跨模态知识蒸馏，预训练一个鲁棒的教师模型；第二阶段是冻结教师模型和鲁棒模型，并训练一个特征选择模块(FSM)，从教师模型和鲁棒模型的特征和logits层提取最佳表示，得到最终的学生模型。整体流程是从鲁棒性到性能的逐步优化。

关键创新：RMMSS的关键创新在于混合原型蒸馏模块(HPDM)和特征选择模块(FSM)的设计。HPDM通过跨模态知识蒸馏，有效地提升了模型的鲁棒性；FSM则通过特征评分计算，从多个模型中提取最佳表示，从而提升了学生模型在完整数据下的性能。与现有方法相比，RMMSS更加注重模态间的关联，并能够有效地平衡鲁棒性和性能。

关键设计：HPDM模块的具体实现细节未知，但可以推测其可能利用了原型学习的思想，将不同模态的数据映射到统一的特征空间，并通过原型之间的距离来衡量模态间的相似性。FSM模块的关键设计在于特征评分计算方法，具体如何计算特征的重要性，以及如何选择最佳的特征表示，是影响最终性能的关键因素。损失函数的设计也至关重要，需要平衡鲁棒性和性能之间的trade-off。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RMMSS在三个数据集上，与最先进的方法相比，在缺失模态性能上分别提高了2.80%、3.89%和0.89%，同时在完整模态性能上几乎没有下降（仅-0.1% mIoU）。这表明RMMSS在提高鲁棒性的同时，有效地保持了完整数据下的性能，验证了其有效性。此外，使用不同的骨干网络（AnySeg和CMNeXt）验证了框架的通用性。

🎯 应用场景

RMMSS框架可应用于自动驾驶、医疗影像分析、遥感图像处理等领域。在这些领域中，传感器数据经常存在缺失或损坏的情况，RMMSS能够有效地提高模型的鲁棒性，保证在恶劣条件下的可靠性。该研究的实际价值在于提升了多模态语义分割模型的实用性，未来有望推动相关技术在实际场景中的广泛应用。

📄 摘要（原文）

Multi-modal semantic segmentation (MMSS) faces significant challenges in real-world applications due to incomplete, degraded, or missing sensor data. While current MMSS methods typically use self-distillation with modality dropout to improve robustness, they largely overlook inter-modal correlations and thus suffer significant performance degradation when no modalities are missing. To this end, we present RMMSS, a two-stage framework designed to progressively enhance model robustness under missing-modality conditions, while maintaining strong performance in full-modality scenarios. It comprises two key components: the Hybrid Prototype Distillation Module (HPDM) and the Feature Selection Module (FSM). In the first stage, we pre-train the teacher model with full-modality data and then introduce HPDM to do cross-modal knowledge distillation for obtaining a highly robust model. In the second stage, we freeze both the pre-trained full-modality teacher model and the robust model and propose a trainable FSM that extracts optimal representations from both the feature and logits layers of the models via feature score calculation. This process learns a final student model that maintains strong robustness while achieving high performance under full-modality conditions. Our experiments on three datasets demonstrate that our method improves missing-modality performance by 2.80%, 3.89%, and 0.89%, respectively, compared to the state-of-the-art, while causing almost no drop in full-modality performance (only -0.1% mIoU). Meanwhile, different backbones (AnySeg and CMNeXt) are utilized to validate the generalizability of our framework.