CoMiX: Cross-Modal Fusion with Deformable Convolutions for HSI-X Semantic Segmentation

📄 arXiv: 2411.09023v1 📥 PDF

作者: Xuming Zhang, Xingfa Gu, Qingjiu Tian, Lorenzo Bruzzone

分类: cs.CV

发布日期: 2024-11-13

💡 一句话要点

提出CoMiX，利用可变形卷积进行跨模态融合，提升高光谱图像语义分割性能。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱图像 语义分割 跨模态融合 可变形卷积 遥感图像

📋 核心要点

  1. 现有方法难以有效增强模态特定和模态共享信息，以及捕捉不同模态之间的动态交互和融合。
  2. CoMiX通过非对称编码器-解码器架构和可变形卷积，自适应地提取、校准和融合HSI和X模态的信息。
  3. 实验结果表明，CoMiX在多模态识别任务中表现出色，性能优于现有方法，并具有良好的泛化能力。

📝 摘要（中文）

本研究提出CoMiX，一个基于可变形卷积(DCNs)的非对称编码器-解码器架构，用于高光谱图像(HSI)和补充数据类型(X模态)的语义分割。该方法旨在提取、校准和融合来自HSI和X数据的信息。CoMiX包含一个具有两个并行交互骨干网络的编码器和一个轻量级的全多层感知机(ALL-MLP)解码器。编码器由四个阶段组成，每个阶段都包含用于X模型的2D DCN块以适应几何变化，以及用于HSIs的3D DCN块以自适应地聚合空间-光谱特征。此外，每个阶段包括一个跨模态特征增强和交换(CMFeX)模块和一个特征融合模块(FFM)。CMFeX旨在利用来自不同模态的空间-光谱相关性来重新校准和增强模态特定和模态共享的特征，同时自适应地交换它们之间的互补信息。来自CMFeX的输出被馈送到FFM进行融合，并传递到下一阶段以进行进一步的信息学习。最后，来自每个FFM的输出由ALL-MLP解码器集成以进行最终预测。大量实验表明，CoMiX实现了卓越的性能，并且可以很好地推广到各种多模态识别任务。

🔬 方法详解

问题定义：高光谱图像(HSI)的语义分割可以通过利用补充数据类型(X模态)的信息来改进，但由于成像传感器、图像内容和分辨率的差异，这具有挑战性。现有方法难以有效地提取和融合来自不同模态的信息，特别是难以捕捉模态间的动态交互和几何变化。

核心思路：CoMiX的核心思路是设计一个非对称的编码器-解码器架构，利用可变形卷积(DCNs)自适应地提取和融合来自HSI和X模态的信息。通过跨模态特征增强和交换(CMFeX)模块，增强模态特定和模态共享的特征，并自适应地交换互补信息。

技术框架：CoMiX的整体架构包括一个编码器和一个解码器。编码器包含两个并行的骨干网络，分别处理HSI和X模态数据。每个骨干网络由四个阶段组成，每个阶段包含DCN块、CMFeX模块和特征融合模块(FFM)。解码器采用轻量级的全多层感知机(ALL-MLP)结构，用于整合来自编码器各阶段的特征并进行最终预测。

关键创新：CoMiX的关键创新在于使用可变形卷积(DCNs)自适应地处理不同模态的几何变化和空间-光谱特征。CMFeX模块通过空间-光谱相关性来重新校准和增强模态特定和模态共享的特征，并自适应地交换互补信息，从而实现更有效的跨模态融合。

关键设计：X模态使用2D DCN块以适应几何变化，HSI使用3D DCN块以自适应地聚合空间-光谱特征。CMFeX模块的设计细节（例如，如何计算空间-光谱相关性，如何进行特征校准和交换）以及FFM模块的具体融合策略（例如，使用何种融合操作）在论文中应该有更详细的描述（未知）。损失函数和训练策略的具体细节也需要参考论文原文（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了CoMiX的优越性能，但具体的性能数据、对比基线和提升幅度需要在论文中查找（未知）。摘要中提到CoMiX实现了卓越的性能，并且可以很好地推广到各种多模态识别任务，这表明CoMiX具有良好的泛化能力。

🎯 应用场景

CoMiX在遥感图像分析领域具有广泛的应用前景，例如土地覆盖分类、农作物监测、城市规划和环境监测。通过融合高光谱图像和其他模态的数据（如LiDAR、SAR等），可以提高语义分割的精度和鲁棒性，为相关领域的决策提供更可靠的信息。

📄 摘要（原文）

Improving hyperspectral image (HSI) semantic segmentation by exploiting complementary information from a supplementary data type (referred to X-modality) is promising but challenging due to differences in imaging sensors, image content, and resolution. Current techniques struggle to enhance modality-specific and modality-shared information, as well as to capture dynamic interaction and fusion between different modalities. In response, this study proposes CoMiX, an asymmetric encoder-decoder architecture with deformable convolutions (DCNs) for HSI-X semantic segmentation. CoMiX is designed to extract, calibrate, and fuse information from HSI and X data. Its pipeline includes an encoder with two parallel and interacting backbones and a lightweight all-multilayer perceptron (ALL-MLP) decoder. The encoder consists of four stages, each incorporating 2D DCN blocks for the X model to accommodate geometric variations and 3D DCN blocks for HSIs to adaptively aggregate spatial-spectral features. Additionally, each stage includes a Cross-Modality Feature enhancement and eXchange (CMFeX) module and a feature fusion module (FFM). CMFeX is designed to exploit spatial-spectral correlations from different modalities to recalibrate and enhance modality-specific and modality-shared features while adaptively exchanging complementary information between them. Outputs from CMFeX are fed into the FFM for fusion and passed to the next stage for further information learning. Finally, the outputs from each FFM are integrated by the ALL-MLP decoder for final prediction. Extensive experiments demonstrate that our CoMiX achieves superior performance and generalizes well to various multimodal recognition tasks. The CoMiX code will be released.