DistillMatch: Leveraging Knowledge Distillation from Vision Foundation Model for Multimodal Image Matching

📄 arXiv: 2509.16017v1 📥 PDF

作者: Meng Yang, Fan Fan, Zizhuo Li, Songchu Deng, Yong Ma, Jiayi Ma

分类: cs.CV

发布日期: 2025-09-19

备注: 10 pages, 4 figures, 3 tables

💡 一句话要点

提出DistillMatch，利用视觉基础模型的知识蒸馏进行多模态图像匹配

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像匹配 知识蒸馏 视觉基础模型 跨模态特征学习 模态信息注入

📋 核心要点

  1. 多模态图像匹配面临模态差异大和标注数据稀缺的挑战，现有方法难以提取有效的跨模态特征。
  2. DistillMatch利用视觉基础模型的知识蒸馏，构建轻量级学生模型，提取高层语义特征进行跨模态匹配。
  3. 通过模态信息注入和V2I-GAN数据增强，DistillMatch在公共数据集上超越现有算法，提升匹配性能。

📝 摘要（中文）

多模态图像匹配旨在寻找不同模态图像之间的像素级对应关系，这对于跨模态感知、融合和分析至关重要。然而，模态之间显著的外观差异使得这项任务充满挑战。由于高质量标注数据集的稀缺，现有的深度学习方法在提取模态通用特征进行匹配时表现不佳，并且缺乏对多样化场景的适应性。视觉基础模型（VFM）经过大规模数据训练，产生了可泛化且鲁棒的特征表示，能够适应各种模态的数据和任务，包括多模态匹配。因此，我们提出DistillMatch，一种利用VFM知识蒸馏的多模态图像匹配方法。DistillMatch采用知识蒸馏来构建一个轻量级的学生模型，该模型从VFM（包括DINOv2和DINOv3）中提取高层语义特征，以辅助跨模态匹配。为了保留模态特定信息，它提取模态类别信息并将其注入到另一模态的特征中，从而增强模型对跨模态相关性的理解。此外，我们设计了V2I-GAN，通过将可见光图像翻译成伪红外图像来进行数据增强，从而提高模型的泛化能力。实验表明，DistillMatch在公共数据集上优于现有的算法。

🔬 方法详解

问题定义：多模态图像匹配旨在建立不同模态图像（如可见光和红外图像）之间的像素级对应关系。现有方法受限于高质量标注数据的缺乏，难以训练出能够有效提取跨模态通用特征的深度学习模型，导致匹配精度低，泛化能力差。尤其是在模态差异显著的场景下，性能下降更为明显。

核心思路：DistillMatch的核心思路是利用预训练的视觉基础模型（VFM）的强大特征提取能力，通过知识蒸馏的方式将其知识迁移到一个轻量级的学生模型中。VFM在大规模数据集上训练，具备良好的泛化性和鲁棒性，能够提取模态通用的高层语义特征，从而克服模态差异带来的挑战。同时，为了保留模态特定信息，引入模态类别信息注入机制。

技术框架：DistillMatch的整体框架包括三个主要组成部分：1) 基于视觉基础模型的教师模型（如DINOv2或DINOv3），用于提取图像的高层语义特征；2) 轻量级的学生模型，通过知识蒸馏学习教师模型的特征表示；3) 模态信息注入模块，将模态类别信息融入到特征中。此外，还使用了V2I-GAN进行数据增强，生成伪红外图像，以提高模型的泛化能力。

关键创新：DistillMatch的关键创新在于：1) 将视觉基础模型的知识蒸馏应用于多模态图像匹配，充分利用了VFM的强大特征提取能力；2) 提出了模态信息注入机制，增强模型对跨模态相关性的理解；3) 设计了V2I-GAN进行数据增强，提高了模型的泛化能力。与现有方法相比，DistillMatch能够更有效地提取跨模态通用特征，从而提高匹配精度和鲁棒性。

关键设计：在知识蒸馏过程中，使用了特征蒸馏损失，鼓励学生模型学习教师模型的特征表示。模态信息注入模块通过将模态类别信息编码成向量，并将其与特征图进行拼接或相乘的方式，融入到特征中。V2I-GAN采用生成对抗网络结构，将可见光图像翻译成伪红外图像，从而增加训练数据的多样性。具体的损失函数和网络结构细节未在摘要中详细说明，需要参考论文全文。

📊 实验亮点

DistillMatch在公开数据集上取得了优于现有算法的性能。摘要中未提供具体的性能数据和提升幅度，但强调了DistillMatch在跨模态图像匹配任务上的有效性，表明该方法能够更好地提取跨模态通用特征，并提高匹配精度和鲁棒性。具体的实验结果需要在论文全文中查找。

🎯 应用场景

DistillMatch在跨模态图像配准、医学图像分析、遥感图像处理、自动驾驶等领域具有广泛的应用前景。例如，在医学图像分析中，可以将CT图像与MRI图像进行配准，从而实现多模态信息的融合，提高诊断精度。在自动驾驶中，可以将可见光图像与红外图像进行配准，从而提高在夜间或恶劣天气条件下的感知能力。

📄 摘要（原文）

Multimodal image matching seeks pixel-level correspondences between images of different modalities, crucial for cross-modal perception, fusion and analysis. However, the significant appearance differences between modalities make this task challenging. Due to the scarcity of high-quality annotated datasets, existing deep learning methods that extract modality-common features for matching perform poorly and lack adaptability to diverse scenarios. Vision Foundation Model (VFM), trained on large-scale data, yields generalizable and robust feature representations adapted to data and tasks of various modalities, including multimodal matching. Thus, we propose DistillMatch, a multimodal image matching method using knowledge distillation from VFM. DistillMatch employs knowledge distillation to build a lightweight student model that extracts high-level semantic features from VFM (including DINOv2 and DINOv3) to assist matching across modalities. To retain modality-specific information, it extracts and injects modality category information into the other modality's features, which enhances the model's understanding of cross-modal correlations. Furthermore, we design V2I-GAN to boost the model's generalization by translating visible to pseudo-infrared images for data augmentation. Experiments show that DistillMatch outperforms existing algorithms on public datasets.