MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching

📄 arXiv: 2501.11299v3 📥 PDF

作者: Yepeng Liu, Zhichao Sun, Baosheng Yu, Yitian Zhao, Bo Du, Yongchao Xu, Jun Cheng

分类: cs.CV

发布日期: 2025-01-20 (更新: 2025-06-24)

备注: Accept by IEEE TIP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

MIFNet：学习模态不变特征，用于可泛化的多模态图像匹配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像匹配 模态不变特征 关键点描述 深度学习 零样本学习

📋 核心要点

  1. 现有关键点检测和描述方法在单模态图像匹配中表现良好，但在多模态数据中，由于描述符对非线性变化缺乏鲁棒性，效果不佳。
  2. MIFNet通过潜在特征聚合模块和累积混合聚合模块，利用Stable Diffusion模型的预训练特征，增强单模态训练的关键点描述符，学习模态不变特征。
  3. 实验表明，MIFNet无需访问目标模态即可学习模态不变特征，并在多个视网膜图像和遥感数据集上展现出良好的零样本泛化能力。

📝 摘要（中文）

本文提出了一种模态不变特征学习网络（MIFNet），旨在仅使用单模态训练数据，为多模态图像匹配中的关键点描述计算模态不变特征。MIFNet包含一个新颖的潜在特征聚合模块和一个累积混合聚合模块，通过利用预训练的Stable Diffusion模型的特征来增强在单模态数据上训练的基础关键点描述符。实验结果表明，MIFNet能够在不访问目标模态的情况下学习多模态图像匹配的模态不变特征，并具有良好的零样本泛化能力。该方法在包括CF-FA、CF-OCT、EMA-OCTA在内的三个多模态视网膜图像数据集以及Optical-SAR和Optical-NIR两个遥感数据集上进行了验证。

🔬 方法详解

问题定义：现有的图像匹配方法在单模态图像中表现良好，但是当应用于多模态图像匹配时，性能显著下降。这是因为在单模态数据上训练的描述符通常无法很好地应对多模态数据中存在的非线性差异。为了解决这个问题，通常需要使用对齐的多模态数据来训练模态不变的描述符，但是获取这种对齐的数据在许多实际场景中是昂贵且不切实际的。

核心思路：MIFNet的核心思路是利用预训练的Stable Diffusion模型所学习到的通用图像表征能力，来增强单模态训练的关键点描述符，从而使其具有模态不变性。通过将单模态特征与Stable Diffusion模型的潜在特征进行聚合，可以有效地提取出对模态变化不敏感的特征表示。

技术框架：MIFNet的整体框架包括以下几个主要模块：首先，使用现有的关键点检测和描述方法在单模态图像上提取初始的关键点描述符。然后，利用预训练的Stable Diffusion模型提取图像的潜在特征。接下来，通过潜在特征聚合模块和累积混合聚合模块，将初始的关键点描述符与Stable Diffusion模型的潜在特征进行融合，得到最终的模态不变特征。

关键创新：MIFNet的关键创新在于提出了潜在特征聚合模块和累积混合聚合模块。潜在特征聚合模块用于将Stable Diffusion模型的潜在特征与初始的关键点描述符进行融合，从而增强描述符的模态不变性。累积混合聚合模块则用于进一步提升特征的鲁棒性。

关键设计：潜在特征聚合模块的具体实现方式未知，但可以推测其可能采用了注意力机制或者其他特征融合方法，以有效地将Stable Diffusion模型的潜在特征融入到关键点描述符中。累积混合聚合模块的具体实现方式也未知，但其目标是进一步提升特征的鲁棒性，可能采用了类似于残差连接或者其他正则化方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIFNet在多个多模态图像数据集上进行了验证，包括视网膜图像数据集（CF-FA, CF-OCT, EMA-OCTA）和遥感数据集（Optical-SAR, Optical-NIR）。实验结果表明，MIFNet能够在不访问目标模态的情况下学习模态不变特征，并具有良好的零样本泛化能力。具体的性能提升数据未知，但论文强调了其在多模态图像匹配方面的有效性。

🎯 应用场景

MIFNet在医学图像分析、遥感图像处理等领域具有广泛的应用前景。例如，在视网膜图像分析中，可以用于不同模态图像（如CF、FA、OCT）之间的配准，从而实现更全面的疾病诊断。在遥感领域，可以用于光学图像和SAR图像、NIR图像之间的匹配，从而提高地物识别和变化检测的精度。该研究有助于推动多模态图像处理技术的发展，并为相关领域的实际应用提供更可靠的解决方案。

📄 摘要（原文）

Many keypoint detection and description methods have been proposed for image matching or registration. While these methods demonstrate promising performance for single-modality image matching, they often struggle with multimodal data because the descriptors trained on single-modality data tend to lack robustness against the non-linear variations present in multimodal data. Extending such methods to multimodal image matching often requires well-aligned multimodal data to learn modality-invariant descriptors. However, acquiring such data is often costly and impractical in many real-world scenarios. To address this challenge, we propose a modality-invariant feature learning network (MIFNet) to compute modality-invariant features for keypoint descriptions in multimodal image matching using only single-modality training data. Specifically, we propose a novel latent feature aggregation module and a cumulative hybrid aggregation module to enhance the base keypoint descriptors trained on single-modality data by leveraging pre-trained features from Stable Diffusion models. %, our approach generates robust and invariant features across diverse and unknown modalities. We validate our method with recent keypoint detection and description methods in three multimodal retinal image datasets (CF-FA, CF-OCT, EMA-OCTA) and two remote sensing datasets (Optical-SAR and Optical-NIR). Extensive experiments demonstrate that the proposed MIFNet is able to learn modality-invariant feature for multimodal image matching without accessing the targeted modality and has good zero-shot generalization ability. The code will be released at https://github.com/lyp-deeplearning/MIFNet.