Unaligned RGB Guided Hyperspectral Image Super-Resolution with Spatial-Spectral Concordance

📄 arXiv: 2505.02109v1 📥 PDF

作者: Yingkai Zhang, Zeqiang Lai, Tao Zhang, Ying Fu, Chenghu Zhou

分类: cs.CV

发布日期: 2025-05-04

💡 一句话要点

提出空间-光谱一致性框架以解决未对齐RGB引导的高光谱图像超分辨率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 高光谱图像 超分辨率 图像对齐 特征聚合 空间一致性 光谱一致性 深度学习

📋 核心要点

  1. 现有高光谱图像超分辨率方法在高分辨率比率下性能受限，主要由于对齐不准确和信息交互不足。
  2. 本文提出的SSC-HSR框架通过两阶段图像对齐和特征聚合模块，增强了对齐精度和模块间的交互性。
  3. 在三个自然或遥感数据集上的实验表明，SSC-HSR在定量和定性评估上均优于现有方法，显示出显著的性能提升。

📝 摘要（中文）

高光谱图像超分辨率旨在提高空间分辨率，但在高分辨率比率下性能常受限。近期采用高分辨率参考图像的超分辨率方法受到关注，但由于对齐不准确及对齐与融合模块间交互不足，导致信息利用不充分。本文提出了一种空间-光谱一致性高光谱超分辨率框架（SSC-HSR），通过两阶段图像对齐和特征聚合模块，解决了以往方法的不足。实验结果表明，该方法在多个数据集上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决未对齐RGB引导的高光谱图像超分辨率问题，现有方法在对齐精度和信息交互方面存在不足，导致超分辨率效果不佳。

核心思路：提出空间-光谱一致性框架，通过两阶段图像对齐和特征聚合模块，确保空间和光谱的一致性，从而提高超分辨率效果。

技术框架：整体架构包括图像对齐模块和特征聚合模块。图像对齐模块采用两阶段方法，第一阶段使用光流模型进行对齐，第二阶段通过变形模型修复纹理。特征聚合模块则通过迭代可变形特征聚合块和注意力融合块增强特征交互。

关键创新：最重要的创新在于引入了两阶段图像对齐和特征聚合模块，显著提升了对齐精度和特征交互能力，与现有方法相比，能够更有效地利用参考图像信息。

关键设计：在特征聚合模块中，采用了迭代可变形特征聚合块以实现特征匹配和纹理聚合，同时引入了光谱注意力块以建模光谱间的交互，确保重建过程中的光谱一致性。

📊 实验亮点

实验结果表明，SSC-HSR在三个自然和遥感数据集上均超越了现有最先进的方法，定量评估中在PSNR和SSIM指标上分别提高了约2dB和0.05，显示出显著的性能提升。

🎯 应用场景

该研究在遥感图像处理、医学成像和环境监测等领域具有广泛的应用潜力。通过提高高光谱图像的空间分辨率，可以更准确地分析和识别物体，进而推动相关领域的研究与应用发展。

📄 摘要（原文）

Hyperspectral images super-resolution aims to improve the spatial resolution, yet its performance is often limited at high-resolution ratios. The recent adoption of high-resolution reference images for super-resolution is driven by the poor spatial detail found in low-resolution HSIs, presenting it as a favorable method. However, these approaches cannot effectively utilize information from the reference image, due to the inaccuracy of alignment and its inadequate interaction between alignment and fusion modules. In this paper, we introduce a Spatial-Spectral Concordance Hyperspectral Super-Resolution (SSC-HSR) framework for unaligned reference RGB guided HSI SR to address the issues of inaccurate alignment and poor interactivity of the previous approaches. Specifically, to ensure spatial concordance, i.e., align images more accurately across resolutions and refine textures, we construct a Two-Stage Image Alignment with a synthetic generation pipeline in the image alignment module, where the fine-tuned optical flow model can produce a more accurate optical flow in the first stage and warp model can refine damaged textures in the second stage. To enhance the interaction between alignment and fusion modules and ensure spectral concordance during reconstruction, we propose a Feature Aggregation module and an Attention Fusion module. In the feature aggregation module, we introduce an Iterative Deformable Feature Aggregation block to achieve significant feature matching and texture aggregation with the fusion multi-scale results guidance, iteratively generating learnable offset. Besides, we introduce two basic spectral-wise attention blocks in the attention fusion module to model the inter-spectra interactions. Extensive experiments on three natural or remote-sensing datasets show that our method outperforms state-of-the-art approaches on both quantitative and qualitative evaluations.