WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification

📄 arXiv: 2408.01231v2 📥 PDF

作者: Muhammad Ahmad, Muhammad Usama, Manuel Mazzara, Salvatore Distefano

分类: cs.CV, eess.IV

发布日期: 2024-08-02 (更新: 2024-11-22)

DOI: 10.1109/LGRS.2024.3506034

💡 一句话要点

WaveMamba：用于高光谱图像分类的空谱小波Mamba模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 小波变换 Mamba架构 空谱特征 深度学习

📋 核心要点

  1. 现有高光谱图像分类方法在计算效率和对大量标注数据的依赖性方面存在不足。
  2. WaveMamba结合小波变换与Mamba架构，旨在有效捕获高光谱图像的局部纹理和全局上下文信息。
  3. 实验结果表明，WaveMamba在两个公开数据集上均超越了现有模型，精度分别提升了4.5%和2.0%。

📝 摘要（中文）

高光谱成像(HSI)已被证明是捕获各种应用中详细光谱和空间信息的强大工具。尽管深度学习(DL)和Transformer架构在高光谱图像分类方面取得了进展，但计算效率和对大量标记数据的需求等挑战仍然存在。本文介绍了一种新颖的方法WaveMamba，它将小波变换与空谱Mamba架构相结合，以增强高光谱图像分类。WaveMamba在一个端到端可训练模型中捕获局部纹理模式和全局上下文关系。然后，基于小波增强的特征通过状态空间架构进行处理，以建模空谱关系和时间依赖性。实验结果表明，WaveMamba超越了现有模型，在休斯顿大学数据集上实现了4.5%的精度提升，在帕维亚大学数据集上实现了2.0%的精度提升。

🔬 方法详解

问题定义：高光谱图像分类旨在根据图像中每个像素的光谱特征将其划分为不同的类别。现有方法，特别是基于深度学习和Transformer的方法，通常计算量大，需要大量的标注数据进行训练，限制了其在资源受限环境中的应用。此外，如何有效地提取和利用高光谱图像中的空间和光谱信息仍然是一个挑战。

核心思路：WaveMamba的核心思路是将小波变换与Mamba架构相结合，利用小波变换提取高光谱图像的局部纹理特征，并利用Mamba架构建模全局上下文关系和时间依赖性。这种结合旨在提高模型的计算效率，减少对大量标注数据的依赖，并更有效地利用高光谱图像中的空间和光谱信息。

技术框架：WaveMamba的整体架构包括以下几个主要模块：1) 小波变换模块：用于提取高光谱图像的局部纹理特征。2) Mamba模块：用于建模全局上下文关系和时间依赖性。3) 分类器模块：用于将Mamba模块的输出映射到不同的类别。整个流程是端到端可训练的，允许模型自动学习最佳的特征提取和分类策略。

关键创新：WaveMamba的关键创新在于将小波变换与Mamba架构相结合。小波变换能够有效地提取高光谱图像的局部纹理特征，而Mamba架构则能够有效地建模全局上下文关系和时间依赖性。这种结合克服了传统方法在计算效率和数据依赖性方面的局限性，并提高了模型的分类精度。与现有方法相比，WaveMamba能够更有效地利用高光谱图像中的空间和光谱信息。

关键设计：WaveMamba的关键设计包括：1) 小波变换的类型和参数选择：论文中使用了具体的小波基函数（未明确说明具体哪种，属于未知信息）和分解层数，以优化特征提取效果。2) Mamba架构的配置：包括Mamba模块的层数、隐藏单元数等参数，这些参数需要根据具体的数据集进行调整。3) 损失函数：使用了交叉熵损失函数，用于衡量模型的分类误差。4) 训练策略：使用了Adam优化器和学习率衰减策略，以提高模型的收敛速度和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WaveMamba在休斯顿大学和帕维亚大学两个公开高光谱数据集上进行了评估，实验结果表明，WaveMamba超越了现有模型，在休斯顿大学数据集上实现了4.5%的精度提升，在帕维亚大学数据集上实现了2.0%的精度提升。这些结果表明，WaveMamba能够有效地提取高光谱图像中的空间和光谱信息，并提高分类精度。

🎯 应用场景

WaveMamba在高光谱图像分类方面具有广泛的应用前景，例如精准农业（作物类型识别、病虫害检测）、环境监测（水质分析、土地覆盖分类）、地质勘探（矿物识别、地质制图）等领域。该研究的实际价值在于提高高光谱图像分类的精度和效率，降低对大量标注数据的依赖，从而促进高光谱成像技术在各个领域的应用。

📄 摘要（原文）

Hyperspectral Imaging (HSI) has proven to be a powerful tool for capturing detailed spectral and spatial information across diverse applications. Despite the advancements in Deep Learning (DL) and Transformer architectures for HSI classification, challenges such as computational efficiency and the need for extensive labeled data persist. This paper introduces WaveMamba, a novel approach that integrates wavelet transformation with the spatial-spectral Mamba architecture to enhance HSI classification. WaveMamba captures both local texture patterns and global contextual relationships in an end-to-end trainable model. The Wavelet-based enhanced features are then processed through the state-space architecture to model spatial-spectral relationships and temporal dependencies. The experimental results indicate that WaveMamba surpasses existing models, achieving an accuracy improvement of 4.5\% on the University of Houston dataset and a 2.0\% increase on the Pavia University dataset.