Local-to-Global Cross-Modal Attention-Aware Fusion for HSI-X Semantic Segmentation

📄 arXiv: 2406.17679v1 📥 PDF

作者: Xuming Zhang, Naoto Yokoya, Xingfa Gu, Qingjiu Tian, Lorenzo Bruzzone

分类: cs.CV

发布日期: 2024-06-25

💡 一句话要点

提出LoGoCAF框架，用于解决高光谱图像与X模态数据融合的语义分割难题。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱图像 多模态融合 语义分割 注意力机制 Transformer 跨模态学习 遥感图像处理

📋 核心要点

  1. 高光谱图像分类面临性能瓶颈，多模态融合是潜在方案，但跨模态差异导致融合困难。
  2. LoGoCAF框架采用局部到全局的编码器和轻量级MLP解码器，实现高效准确的跨模态融合。
  3. 实验结果表明，LoGoCAF在HSI-X语义分割任务中表现出色，并具有良好的泛化能力。

📝 摘要（中文）

高光谱图像（HSI）分类的性能提升已面临瓶颈。多模态数据融合通过提供来自补充模态（X模态）的丰富互补信息，正成为克服这一瓶颈的有希望的方法。然而，由于不同模态的成像传感器、分辨率和内容存在差异，实现能够推广到不同传感模态的全面跨模态交互和融合具有挑战性。本研究提出了一种用于HSI-X分类的局部到全局跨模态注意力感知融合（LoGoCAF）框架，该框架综合考虑了效率、准确性和泛化性。LoGoCAF采用像素到像素的双分支语义分割架构来学习来自HSI和X模态的信息。LoGoCAF的流程包括一个局部到全局编码器和一个轻量级多层感知器（MLP）解码器。在编码器中，卷积用于编码浅层中的局部和高分辨率精细细节，而Transformer用于整合深层中的全局和低分辨率粗略特征。MLP解码器聚合来自编码器的信息以进行特征融合和预测。特别地，在每个编码器阶段引入了两个跨模态模块，即特征增强模块（FEM）和特征交互与融合模块（FIFM）。FEM用于通过跨方向感知、位置敏感和通道维度组合来自另一模态的特征来增强互补信息。利用增强的特征，FIFM旨在促进跨模态信息交互和融合，以进行最终的语义预测。大量实验表明，我们的LoGoCAF实现了卓越的性能并且具有良好的泛化性。代码将公开提供。

🔬 方法详解

问题定义：论文旨在解决高光谱图像（HSI）与另一种模态（X模态）数据融合进行语义分割的问题。现有方法难以有效处理不同模态间成像传感器、分辨率和内容上的差异，导致跨模态信息交互不充分，限制了分割性能的提升。

核心思路：论文的核心思路是设计一个局部到全局的跨模态注意力感知融合框架（LoGoCAF），该框架能够充分利用不同模态的互补信息，同时有效地进行跨模态特征交互和融合。通过局部卷积提取精细特征，全局Transformer捕捉上下文信息，并利用注意力机制增强跨模态特征的关联性。

技术框架：LoGoCAF框架采用双分支语义分割架构，分别处理HSI和X模态数据。框架主要包括以下几个部分：1) 局部到全局编码器：浅层使用卷积提取局部高分辨率特征，深层使用Transformer提取全局低分辨率特征。2) 轻量级MLP解码器：聚合编码器提取的特征，进行特征融合和语义预测。3) 特征增强模块（FEM）：通过方向感知、位置敏感和通道维度组合来自另一模态的特征，增强互补信息。4) 特征交互与融合模块（FIFM）：促进跨模态信息交互和融合，用于最终的语义预测。

关键创新：论文的关键创新在于提出了局部到全局的编码器结构以及跨模态注意力感知融合机制。局部到全局的编码器能够有效提取不同尺度的特征，而跨模态注意力感知融合机制能够充分利用不同模态的互补信息，并促进跨模态特征的有效交互和融合。FEM和FIFM是实现这一创新的关键模块。

关键设计：论文在网络结构设计上采用了卷积和Transformer相结合的方式，利用卷积提取局部细节特征，利用Transformer捕捉全局上下文信息。在跨模态融合方面，设计了FEM和FIFM模块，通过注意力机制实现特征增强和信息交互。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoGoCAF框架在HSI-X语义分割任务中取得了优越的性能，相较于现有方法，在精度和泛化性方面均有显著提升。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但摘要强调了LoGoCAF的卓越性能和良好泛化性。

🎯 应用场景

该研究成果可应用于遥感图像分析、环境监测、精准农业等领域。通过融合高光谱图像和其他模态数据，可以更准确地进行地物分类、土地覆盖分析、作物健康监测等，为相关领域的决策提供更可靠的依据，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Hyperspectral image (HSI) classification has recently reached its performance bottleneck. Multimodal data fusion is emerging as a promising approach to overcome this bottleneck by providing rich complementary information from the supplementary modality (X-modality). However, achieving comprehensive cross-modal interaction and fusion that can be generalized across different sensing modalities is challenging due to the disparity in imaging sensors, resolution, and content of different modalities. In this study, we propose a Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF) framework for HSI-X classification that jointly considers efficiency, accuracy, and generalizability. LoGoCAF adopts a pixel-to-pixel two-branch semantic segmentation architecture to learn information from HSI and X modalities. The pipeline of LoGoCAF consists of a local-to-global encoder and a lightweight multilayer perceptron (MLP) decoder. In the encoder, convolutions are used to encode local and high-resolution fine details in shallow layers, while transformers are used to integrate global and low-resolution coarse features in deeper layers. The MLP decoder aggregates information from the encoder for feature fusion and prediction. In particular, two cross-modality modules, the feature enhancement module (FEM) and the feature interaction and fusion module (FIFM), are introduced in each encoder stage. The FEM is used to enhance complementary information by combining the feature from the other modality across direction-aware, position-sensitive, and channel-wise dimensions. With the enhanced features, the FIFM is designed to promote cross-modality information interaction and fusion for the final semantic prediction. Extensive experiments demonstrate that our LoGoCAF achieves superior performance and generalizes well. The code will be made publicly available.