Semi-Supervised Flow Matching for Mosaiced and Panchromatic Fusion Imaging
作者: Peiming Luo, Nan Wang, Litong Liu, Jiahan Huang, Chenxu Wu, Renwei Dian, Junming Hou
分类: cs.CV
发布日期: 2026-04-22
💡 一句话要点
提出半监督流匹配方法，用于马赛克高光谱与全色图像融合
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 高光谱图像融合 全色图像融合 半监督学习 流匹配 图像重建
📋 核心要点
- 现有方法在马赛克高光谱与全色图像融合中，受限于特定协议或手工设计的假设，泛化能力不足。
- 提出半监督流匹配框架，结合无监督先验和条件流匹配，实现通用且高效的HR-HSI生成。
- 实验结果表明，该方法在多个基准数据集上，相比现有方法，在定量和定性性能上均有显著提升。
📝 摘要（中文）
本文提出了一种新颖的半监督流匹配框架，用于融合低分辨率(LR)马赛克高光谱图像(HSI)与高分辨率(HR)全色(PAN)图像。这种融合为通过单次拍摄实现视频速率的HR-HSI成像提供了一条有前景的途径，但其严重的不适定性仍然是一个重大挑战。与之前受限于特定协议或手工设计的假设的基于扩散的方法不同，我们的方法无缝地将无监督方案与流匹配相结合，从而产生一个通用且高效的生成框架。具体来说，我们的方法遵循一个两阶段的训练流程。首先，我们预训练一个无监督先验网络来生成初始的伪HR-HSI。在此基础上，我们训练一个条件流匹配模型来生成目标HR-HSI，引入一种随机投票机制，迭代地细化初始HR-HSI估计，从而实现鲁棒和有效的融合。在推理过程中，我们采用一种无冲突的梯度引导策略，确保光谱和空间上一致的HR-HSI重建。在多个基准数据集上的实验表明，与代表性的基线方法相比，我们的方法在定量和定性性能上都取得了显著的优势。除了马赛克和PAN融合之外，我们的方法还提供了一个灵活的生成框架，可以很容易地扩展到其他图像融合任务，并与无监督或盲图像恢复算法集成。
🔬 方法详解
问题定义：论文旨在解决将低分辨率马赛克高光谱图像（LR HSI）与高分辨率全色图像（HR PAN）融合，生成高分辨率高光谱图像（HR HSI）的问题。现有方法通常依赖于特定的协议或手工设计的假设，导致泛化能力受限，且难以处理复杂场景。此外，该问题本身具有严重的不适定性，增加了融合的难度。
核心思路：论文的核心思路是利用半监督学习，结合无监督的先验知识和条件流匹配模型，构建一个通用的生成框架。首先，通过无监督学习预训练一个先验网络，生成初始的伪HR-HSI，为后续的条件流匹配提供指导。然后，利用条件流匹配模型，在PAN图像的引导下，逐步优化HR-HSI的质量。
技术框架：该方法采用两阶段训练流程。第一阶段，使用无监督学习方法（具体方法未知）预训练一个先验网络，用于生成初始的伪HR-HSI。第二阶段，训练一个条件流匹配模型，该模型以PAN图像为条件，将初始的伪HR-HSI逐步优化为目标HR-HSI。在推理阶段，采用无冲突的梯度引导策略，确保生成HR-HSI在光谱和空间上的一致性。
关键创新：该方法的主要创新点在于将无监督学习和流匹配相结合，构建了一个半监督的生成框架。这种框架具有更强的通用性和灵活性，可以适应不同的图像融合任务。此外，随机投票机制和无冲突梯度引导策略也有助于提高融合的鲁棒性和一致性。
关键设计：论文中提到随机投票机制，用于迭代细化初始HR-HSI估计，但具体实现细节未知。无冲突梯度引导策略用于保证光谱和空间一致性，具体实现细节也未知。损失函数的设计以及网络结构的细节也未在摘要中体现。
🖼️ 关键图片
📊 实验亮点
该方法在多个基准数据集上取得了显著的性能提升，优于现有的代表性基线方法。具体性能数据和提升幅度在摘要中未给出，但强调了在定量和定性评估中均表现出色，表明该方法在实际应用中具有竞争力。
🎯 应用场景
该研究成果可应用于遥感图像处理、精准农业、环境监测、地质勘探等领域。通过融合低分辨率高光谱图像和高分辨率全色图像，可以获得更丰富的光谱信息和更清晰的空间细节，从而提高目标识别、分类和分析的精度。该方法还可扩展到其他图像融合任务，具有广泛的应用前景。
📄 摘要（原文）
Fusing a low resolution (LR) mosaiced hyperspectral image (HSI) with a high resolution (HR) panchromatic (PAN) image offers a promising avenue for video-rate HR-HSI imaging via single-shot acquisition, yet its severely ill-posed nature remains a significant challenge. In this work, we propose a novel semi-supervised flow matching framework for mosaiced and PAN image fusion. Unlike previous diffusion-based approaches constrained by specific protocols or handcrafted assumptions, our method seamlessly integrates an unsupervised scheme with flow matching, resulting in a generalizable and efficient generative framework. Specifically, our method follows a two-stage training pipeline. First, we pretrain an unsupervised prior network to produce an initial pseudo HR-HSI. Building on this, we then train a conditional flow matching model to generate the target HR-HSI, introducing a random voting mechanism that iteratively refines the initial HR-HSI estimate, enabling robust and effective fusion. During inference, we employ a conflict-free gradient guidance strategy that ensures spectrally and spatially consistent HR-HSI reconstruction. Experiments on multiple benchmark datasets demonstrate that our method achieves superior quantitative and qualitative performance by a significant margin compared to representative baselines. Beyond mosaiced and PAN fusion, our approach provides a flexible generative framework that can be readily extended to other image fusion tasks and integrated with unsupervised or blind image restoration algorithms.