Unaligned RGB Guided Hyperspectral Image Super-Resolution with Spatial-Spectral Concordance

📄 arXiv: 2505.02109v1 📥 PDF

作者: Yingkai Zhang, Zeqiang Lai, Tao Zhang, Ying Fu, Chenghu Zhou

分类: cs.CV

发布日期: 2025-05-04

DOI: 10.1007/s11263-025-02466-8

💡 一句话要点

提出空间-光谱一致性超分框架，解决非对齐RGB引导的高光谱图像超分辨率重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 高光谱图像超分辨率 图像对齐 特征聚合 注意力机制 空间-光谱一致性

📋 核心要点

  1. 现有高光谱图像超分方法难以有效利用非对齐的高分辨率参考图像，对齐精度和模块间交互性不足是主要瓶颈。
  2. 论文提出空间-光谱一致性超分框架，通过两阶段图像对齐保证空间一致性，特征聚合和注意力融合保证光谱一致性。
  3. 实验结果表明，该方法在多个数据集上超越了现有技术，在定量和定性评估中均表现出优越的性能。

📝 摘要（中文）

高光谱图像超分辨率旨在提高空间分辨率，但其性能在高分辨率比率下通常受到限制。最近，由于低分辨率HSI中空间细节不足，采用高分辨率参考图像进行超分辨率重建成为一种有利的方法。然而，由于对齐不准确以及对齐和融合模块之间交互不足，这些方法无法有效利用参考图像的信息。本文提出了一种空间-光谱一致性高光谱超分辨率(SSC-HSR)框架，用于非对齐参考RGB引导的HSI超分辨率，以解决先前方法中对齐不准确和交互性差的问题。具体而言，为了确保空间一致性，即更准确地对齐跨分辨率的图像并细化纹理，我们在图像对齐模块中构建了一个带有合成生成管道的两阶段图像对齐方法，其中微调的光流模型可以在第一阶段产生更准确的光流，而warp模型可以在第二阶段细化损坏的纹理。为了增强对齐和融合模块之间的交互，并确保重建期间的光谱一致性，我们提出了一个特征聚合模块和一个注意力融合模块。在特征聚合模块中，我们引入了一个迭代可变形特征聚合块，以在融合多尺度结果的指导下实现显著的特征匹配和纹理聚合，迭代生成可学习的偏移量。此外，我们在注意力融合模块中引入了两个基本的光谱注意力块，以建模光谱间的相互作用。在三个自然或遥感数据集上的大量实验表明，我们的方法在定量和定性评估方面均优于最先进的方法。

🔬 方法详解

问题定义：高光谱图像超分辨率重建旨在提升低分辨率高光谱图像的空间分辨率。现有方法在利用高分辨率RGB参考图像时，由于RGB图像与高光谱图像之间存在未对齐问题，以及对齐模块与超分重建模块之间的交互不足，导致参考图像的信息无法被充分利用，限制了超分性能的提升。

核心思路：论文的核心思路是建立空间和光谱的一致性。通过精确的图像对齐模块保证空间一致性，即确保不同分辨率图像之间的空间对应关系；通过特征聚合和注意力融合模块保证光谱一致性，即确保重建后的高光谱图像在光谱维度上与原始图像保持一致。这种双重一致性的约束能够更有效地利用参考图像的信息，提升超分重建的质量。

技术框架：SSC-HSR框架主要包含以下几个模块：1) 两阶段图像对齐模块：首先使用光流模型进行粗略对齐，然后使用warp模型进行纹理修复和精细对齐。2) 特征聚合模块：使用迭代可变形特征聚合块，通过融合多尺度特征和学习偏移量，实现特征匹配和纹理聚合。3) 注意力融合模块：使用光谱注意力块建模光谱间的相互作用，增强光谱一致性。整体流程是先进行图像对齐，然后通过特征聚合和注意力融合将对齐后的RGB图像信息融入到高光谱图像的超分重建过程中。

关键创新：该方法的主要创新点在于：1) 两阶段图像对齐：通过光流和warp模型的结合，实现了更精确的图像对齐，尤其是在纹理细节方面的提升。2) 迭代可变形特征聚合：通过迭代学习偏移量，实现了更有效的特征匹配和纹理聚合，增强了RGB图像与高光谱图像之间的信息交互。3) 空间-光谱一致性约束：通过对齐和融合模块的设计，同时保证了空间和光谱的一致性，从而提升了超分重建的质量。

关键设计：1) 两阶段图像对齐：第一阶段使用预训练并微调的光流模型，第二阶段使用warp模型进行纹理修复。2) 迭代可变形特征聚合：迭代次数和偏移量的学习率是关键参数。3) 光谱注意力块：使用了两个基本的光谱注意力块，具体结构未知（论文未详细描述）。损失函数未知（论文未详细描述）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在三个数据集上均取得了优于现有SOTA方法的性能。具体提升幅度未知（论文未给出具体数值），但强调了在定量和定性评估中均表现出优越性。该方法尤其在纹理细节的恢复方面表现出色，验证了两阶段图像对齐和特征聚合模块的有效性。

🎯 应用场景

该研究成果可应用于遥感图像处理、精准农业、环境监测、地质勘探等领域。通过提升高光谱图像的空间分辨率，可以更精细地分析地物信息，为相关领域的决策提供更准确的数据支持。未来，该方法有望应用于星载或机载高光谱成像系统，提升遥感数据的应用价值。

📄 摘要（原文）

Hyperspectral images super-resolution aims to improve the spatial resolution, yet its performance is often limited at high-resolution ratios. The recent adoption of high-resolution reference images for super-resolution is driven by the poor spatial detail found in low-resolution HSIs, presenting it as a favorable method. However, these approaches cannot effectively utilize information from the reference image, due to the inaccuracy of alignment and its inadequate interaction between alignment and fusion modules. In this paper, we introduce a Spatial-Spectral Concordance Hyperspectral Super-Resolution (SSC-HSR) framework for unaligned reference RGB guided HSI SR to address the issues of inaccurate alignment and poor interactivity of the previous approaches. Specifically, to ensure spatial concordance, i.e., align images more accurately across resolutions and refine textures, we construct a Two-Stage Image Alignment with a synthetic generation pipeline in the image alignment module, where the fine-tuned optical flow model can produce a more accurate optical flow in the first stage and warp model can refine damaged textures in the second stage. To enhance the interaction between alignment and fusion modules and ensure spectral concordance during reconstruction, we propose a Feature Aggregation module and an Attention Fusion module. In the feature aggregation module, we introduce an Iterative Deformable Feature Aggregation block to achieve significant feature matching and texture aggregation with the fusion multi-scale results guidance, iteratively generating learnable offset. Besides, we introduce two basic spectral-wise attention blocks in the attention fusion module to model the inter-spectra interactions. Extensive experiments on three natural or remote-sensing datasets show that our method outperforms state-of-the-art approaches on both quantitative and qualitative evaluations.