ContraFM-S2O: Flow Matching-Based One-step SAR-to-Optical Image Translation Model with Contrastive Learning

📄 arXiv: 2609.31378v1 📥 PDF

作者: Mingqian Yu, Wei-kuan Chiang, Qiurui Wang, Peilin Zhao

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出ContraFM-S2O以解决SAR到光学图像转换中的细节缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: SAR图像转换 光学图像生成 流匹配 对比学习 深度学习 图像处理 遥感技术

📋 核心要点

  1. 现有的SAR到光学图像转换方法在生成图像时常常出现细节缺失和模糊边缘的问题，影响了图像的质量和实用性。
  2. ContraFM-S2O模型通过流匹配学习速度场，并在推理中使用ODE而非SDE，显著提高了采样效率，实现了一步式转换。
  3. 实验结果显示，ContraFM-S2O在多个数据集上表现优异，生成图像的质量明显提升，同时推理延迟显著降低。

📝 摘要（中文）

近年来，扩散模型和基于GAN的模型已成为SAR到光学图像转换的主流方法，但它们存在推理延迟高和生成图像细节保真度低等缺点。为此，本文提出了ContraFM-S2O模型，该模型基于流匹配进行SAR到光学图像转换。ContraFM-S2O在训练中学习预测速度场，并在推理时解决常微分方程（ODE），以提高采样效率。此外，该模型通过沿插值路径替换瞬时速度为平均速度，实现一步式的SAR到光学图像转换，并利用对比学习提升生成图像的质量。实验结果表明，该模型在SAR2Opt和QXS数据集上达到了最先进的性能，超越了基线模型，并通过一步生成减少了推理延迟。

🔬 方法详解

问题定义：本文旨在解决现有SAR到光学图像转换方法在生成图像时细节缺失和推理延迟高的问题。现有的扩散模型和GAN模型在生成图像时常常导致边缘模糊和细节丢失，影响了图像的实用性和质量。

核心思路：ContraFM-S2O模型的核心思路是通过流匹配学习速度场，并在推理阶段使用常微分方程（ODE）来替代随机微分方程（SDE），从而提高采样效率，实现一步式的图像转换。

技术框架：该模型的整体架构包括速度场预测模块、ODE求解模块和对比学习模块。速度场预测模块负责学习SAR图像与光学图像之间的映射关系，ODE求解模块用于高效生成光学图像，对比学习模块则用于提升生成图像的质量。

关键创新：ContraFM-S2O的主要创新在于使用流匹配方法和对比学习相结合，显著提高了生成图像的细节保真度，并通过一步式转换降低了推理延迟。这一设计与传统的扩散模型和GAN模型有本质区别。

关键设计：模型在参数设置上采用了平均速度替代瞬时速度，损失函数设计上结合了对比损失和生成损失，以确保生成图像的质量和多样性。网络结构上，采用了深度卷积网络以增强特征提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ContraFM-S2O在SAR2Opt和QXS数据集上达到了最先进的性能，相较于基线模型，生成图像的细节保真度提升显著，推理延迟减少，展示了其在实际应用中的优越性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感图像处理、环境监测和城市规划等领域。通过提高SAR到光学图像转换的效率和质量，能够为相关行业提供更为精准和高效的图像分析工具，推动智能城市和环境监测的发展。

📄 摘要（原文）

In recent years, diffusion models and GAN-based models have become the mainstream approaches for SAR-to-optical image translation, owing to their advantages, such as high-quality generation and stable training. However, they have shortcomings such as high inference latency and the generated optical images suffer from low detail fidelity, often resulting in blurred edges and loss of fine textures. Thus, we propose ContraFM-S2O, which is a flow matching-based model for SAR-to-optical image translation. Unlike conventional diffusion models, ContraFM-S2O learns to predict the velocity field in training and solves ODE instead of SDE during inference to improve the sampling efficiency. In addition, ContraFM-S2O replaces instantaneous velocity with average velocity along the interpolation path to realize one-step SAR-to-optical image translation and uses contrastive learning to improve the quality of the generated optical images. Experiments show our model achieves state-of-the-art on SAR2Opt and QXS datasets, outperforming baselines, and reduces inference latency via one-step generation.