USCTNet: A deep unfolding nuclear-norm optimization solver for physically consistent HSI reconstruction

📄 arXiv: 2509.10651v2 📥 PDF

作者: Xiaoyang Ma, Yiyang Chai, Xinran Qu, Hong Sun

分类: cs.CV

发布日期: 2025-09-12 (更新: 2025-09-19)

🔗 代码/项目: GITHUB

💡 一句话要点

USCTNet：一种用于物理一致性高光谱图像重建的深度展开核范数优化求解器

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像重建 深度展开网络 核范数优化 物理一致性 相机光谱灵敏度 光照估计 低秩子空间 逆问题

📋 核心要点

  1. 现有RGB到HSI重建方法在相机光谱灵敏度和光照估计不准确时，容易产生物理不一致性，影响重建质量。
  2. USCTNet通过显式估计相机光谱灵敏度和光照，并将其嵌入到迭代重建过程中，保证了颜色一致性。
  3. 实验结果表明，USCTNet在标准数据集上显著优于现有RGB-based HSI重建方法，提高了重建精度。

📝 摘要（中文）

本文提出了一种从单张RGB图像重建高光谱图像(HSI)的方法。由于相机光谱灵敏度(CSS)和场景光照的错误指定，RGB到HSI的重建是一个病态问题，并且可能导致物理不一致。我们将RGB到HSI的重建建模为一个基于物理的逆问题，并使用可学习变换域中的核范数进行正则化。我们显式地估计CSS和光照，以定义嵌入在每次迭代中的前向算子，从而确保颜色一致性。为了避免奇异值阈值(SVT)所需的完整奇异值分解(SVD)的成本和不稳定性，我们引入了一种数据自适应的低秩子空间SVT算子。基于这些组件，我们开发了USCTNet，这是一个专为HSI定制的深度展开求解器，它将参数估计模块与可学习的近端更新相结合。在标准基准上的大量实验表明，在重建精度方面，该方法比最先进的基于RGB的方法有了持续的改进。

🔬 方法详解

问题定义：RGB到HSI的重建是一个病态逆问题，尤其是在相机光谱灵敏度(CSS)和场景光照信息不准确时，重建结果容易出现物理不一致性。现有的方法通常忽略了这些物理因素，或者采用简单的估计方法，导致重建精度受限。

核心思路：论文的核心思路是将RGB到HSI的重建问题建模为一个物理一致的逆问题，通过显式地估计CSS和光照，并将其作为前向算子的一部分嵌入到迭代重建过程中，从而保证重建结果的颜色一致性。同时，利用可学习的变换域核范数正则化来约束解空间，提高重建质量。

技术框架：USCTNet是一个深度展开网络，其结构模仿了核范数优化求解器的迭代过程。整体框架包含以下几个主要模块：1) 参数估计模块：用于估计CSS和光照；2) 前向算子模块：利用估计的CSS和光照定义前向投影；3) 数据自适应低秩子空间SVT模块：用于执行核范数正则化；4) 可学习的近端更新模块：用于更新HSI估计。这些模块在网络中以迭代的方式展开，每一层对应一次迭代。

关键创新：论文的关键创新在于：1) 将物理一致性约束显式地嵌入到深度学习框架中，通过估计CSS和光照来保证重建结果的物理合理性；2) 提出了一种数据自适应的低秩子空间SVT算子，避免了传统SVT方法中计算量大的完整SVD，提高了计算效率；3) 构建了一个深度展开网络USCTNet，将参数估计和近端更新模块相结合，实现了端到端的HSI重建。

关键设计：USCTNet的关键设计包括：1) 参数估计模块采用卷积神经网络来估计CSS和光照；2) 数据自适应低秩子空间SVT算子通过学习一个低秩子空间来近似SVD，降低计算复杂度；3) 损失函数包括重建损失和正则化损失，用于约束重建结果的准确性和物理一致性。网络采用Adam优化器进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，USCTNet在标准基准数据集上取得了显著的性能提升。例如，在CAVE数据集上，USCTNet的PSNR指标比现有最佳方法提高了约1-2dB，在SAM指标上也有显著改善。此外，USCTNet在计算效率方面也具有优势，数据自适应低秩子空间SVT算子有效降低了计算复杂度。

🎯 应用场景

该研究成果可应用于遥感图像处理、计算机视觉、医学成像等领域。例如，在遥感领域，可以利用该方法从RGB卫星图像重建高光谱图像，从而提高地物分类和识别的精度。在医学成像领域，可以用于增强内窥镜图像的光谱信息，辅助医生进行疾病诊断。该方法具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Reconstructing hyperspectral images (HSIs) from a single RGB image is ill-posed and can become physically inconsistent when the camera spectral sensitivity (CSS) and scene illumination are misspecified. We formulate RGB-to-HSI reconstruction as a physics-grounded inverse problem regularized by a nuclear norm in a learnable transform domain, and we explicitly estimate CSS and illumination to define the forward operator embedded in each iteration, ensuring colorimetric consistency. To avoid the cost and instability of full singular-value decompositions (SVDs) required by singular-value thresholding (SVT), we introduce a data-adaptive low-rank subspace SVT operator. Building on these components, we develop USCTNet, a deep unfolding solver tailored to HSI that couples a parameter estimation module with learnable proximal updates. Extensive experiments on standard benchmarks show consistent improvements over state-of-the-art RGB-based methods in reconstruction accuracy. Code: https://github.com/psykheXX/USCTNet-Code-Implementation.git