S2WMamba: A Spectral-Spatial Wavelet Mamba for Pansharpening

📄 arXiv: 2512.06330v1 📥 PDF

作者: Haoyu Zhang, Junhan Luo, Yugang Cao, Siran Peng, Jie Huang, Liangjian-Deng

分类: cs.CV

发布日期: 2025-12-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出S2WMamba，通过谱-空域小波变换和Mamba模块实现高效遥感图像融合

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 遥感图像融合 Pansharpening 小波变换 Mamba 谱-空域解耦 跨模态交互 深度学习

📋 核心要点

  1. 遥感图像融合旨在融合高分辨率全色图像和低分辨率多光谱图像，但现有方法难以有效分离空间细节和光谱信息。
  2. S2WMamba通过2D和1D Haar小波变换分别提取空间和光谱特征，并利用Mamba模块进行跨模态信息交互，实现解耦融合。
  3. 实验结果表明，S2WMamba在多个数据集上优于或匹配现有先进方法，并在WV3数据集上取得了显著的性能提升。

📝 摘要（中文）

本文提出了一种名为S2WMamba的新型遥感图像融合（Pansharpening）方法，旨在将高分辨率全色（PAN）图像与低分辨率多光谱（LRMS）图像融合，生成高分辨率多光谱（HRMS）图像。该方法的核心在于解耦空间细节和光谱信息，并进行轻量级的跨模态交互。具体而言，对PAN图像应用2D Haar离散小波变换（DWT）以提取空间边缘和纹理，同时将每个像素的光谱视为1D信号，并应用通道级的1D Haar DWT来分离低频和高频分量，从而限制光谱失真。谱分支将小波提取的空间细节注入到MS特征中，而空间分支使用来自1D金字塔的光谱来细化PAN特征。两个分支通过基于Mamba的跨模态调制交换信息，该调制以线性复杂度建模长程依赖关系。最后，一个多尺度动态门（乘法+加法）自适应地融合分支输出。在WV3、GF2和QB数据集上，S2WMamba与最新的强大基线方法（FusionMamba、CANNet、U2Net、ARConv）相匹配或超过，在全分辨率WV3上，PSNR最多提高0.23 dB，HQNR达到0.956。消融实验证明了2D/1D DWT放置、并行双分支和融合门选择的合理性。

🔬 方法详解

问题定义：遥感图像融合（Pansharpening）旨在将高分辨率全色（PAN）图像与低分辨率多光谱（LRMS）图像融合，生成高分辨率多光谱（HRMS）图像。现有的方法通常难以有效地分离和处理PAN图像中的空间细节和LRMS图像中的光谱信息，导致融合后的图像在空间细节增强的同时，光谱信息产生失真。

核心思路：S2WMamba的核心思路是通过显式地解耦空间和光谱信息，然后进行轻量级的跨模态交互。具体来说，利用小波变换在不同域中提取特征，并设计双分支结构分别处理空间和光谱信息，最后通过Mamba模块进行跨模态特征融合。这样设计的目的是为了更好地保留原始图像的空间细节和光谱信息，从而提高融合图像的质量。

技术框架：S2WMamba的整体架构包含以下几个主要模块：1) 2D Haar DWT模块，用于提取PAN图像的空间边缘和纹理信息；2) 1D Haar DWT模块，用于分离LRMS图像每个像素光谱的低频和高频分量；3) 谱分支，将小波提取的空间细节注入到MS特征中；4) 空间分支，使用来自1D金字塔的光谱来细化PAN特征；5) 基于Mamba的跨模态调制模块，用于在谱分支和空间分支之间交换信息，建模长程依赖关系；6) 多尺度动态门，自适应地融合两个分支的输出。

关键创新：S2WMamba最重要的技术创新点在于其谱-空域解耦融合策略。通过分别在空间域和光谱域应用小波变换，能够更有效地提取和分离空间细节和光谱信息。此外，利用Mamba模块进行跨模态信息交互，能够在保持线性复杂度的同时，建模长程依赖关系，从而提高融合效果。

关键设计：S2WMamba的关键设计包括：1) 2D Haar DWT应用于PAN图像，1D Haar DWT应用于LRMS图像，这种非对称的设计考虑了PAN图像和LRMS图像的特性差异；2) 并行双分支结构，分别处理空间和光谱信息，避免了信息的混淆；3) 基于Mamba的跨模态调制模块，利用选择机制建模长程依赖关系；4) 多尺度动态门，通过乘法和加法操作自适应地融合分支输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

S2WMamba在WV3、GF2和QB等多个遥感数据集上进行了评估，实验结果表明，S2WMamba与最新的强大基线方法（如FusionMamba、CANNet、U2Net、ARConv）相匹配或超过，在全分辨率WV3数据集上，PSNR最多提高0.23 dB，HQNR达到0.956，证明了该方法的有效性。

🎯 应用场景

S2WMamba在遥感图像处理领域具有广泛的应用前景，可用于城市规划、环境监测、灾害评估、农业估产等领域。通过提高遥感图像的空间分辨率和光谱保真度，S2WMamba能够为这些应用提供更准确、更可靠的数据支持，从而提升决策效率和精度。

📄 摘要（原文）

Pansharpening fuses a high-resolution PAN image with a low-resolution multispectral (LRMS) image to produce an HRMS image. A key difficulty is that jointly processing PAN and MS often entangles spatial detail with spectral fidelity. We propose S2WMamba, which explicitly disentangles frequency information and then performs lightweight cross-modal interaction. Concretely, a 2D Haar DWT is applied to PAN to localize spatial edges and textures, while a channel-wise 1D Haar DWT treats each pixel's spectrum as a 1D signal to separate low/high-frequency components and limit spectral distortion. The resulting Spectral branch injects wavelet-extracted spatial details into MS features, and the Spatial branch refines PAN features using spectra from the 1D pyramid; the two branches exchange information through Mamba-based cross-modulation that models long-range dependencies with linear complexity. A multi-scale dynamic gate (multiplicative + additive) then adaptively fuses branch outputs.On WV3, GF2, and QB, S2WMamba matches or surpasses recent strong baselines (FusionMamba, CANNet, U2Net, ARConv), improving PSNR by up to 0.23 dB and reaching HQNR 0.956 on full-resolution WV3. Ablations justify the choice of 2D/1D DWT placement, parallel dual branches, and the fusion gate. Our code is available at https://github.com/KagUYa66/S2WMamba.