A Generalization Theory of Cross-Modality Distillation with Contrastive Learning

📄 arXiv: 2405.03355v2 📥 PDF

作者: Hangyu Lin, Chen Liu, Chengming Xu, Zhengqi Gao, Yanwei Fu, Yuan Yao

分类: cs.LG, cs.CV

发布日期: 2024-05-06 (更新: 2024-05-28)

💡 一句话要点

提出跨模态对比蒸馏框架CMCD，并从理论上分析模态距离对泛化性能的影响。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态蒸馏 对比学习 知识迁移 泛化理论 无监督学习

📋 核心要点

  1. 现有跨模态蒸馏方法缺乏理论支撑，难以指导算法设计与优化。
  2. 提出跨模态对比蒸馏（CMCD）框架，利用对比学习蒸馏可泛化的特征。
  3. 理论分析表明模态距离影响泛化性能，实验证明CMCD优于现有算法。

📝 摘要（中文）

跨模态蒸馏是解决诸如深度图和高质量草图等知识有限的数据模态的重要课题。这种技术对于内存和隐私受限且通常缺乏标注训练数据的场景尤为重要。为了解决这个问题，现有的无标签方法利用少量的成对无标签数据，通过对齐源模态和目标模态之间的特征或统计信息来蒸馏知识。例如，通常旨在最小化源模态（如图像）和目标模态（如草图）中样本对的学习特征之间的L2距离或对比损失。然而，该领域的大多数算法只关注实验结果，缺乏理论见解。为了弥合跨模态蒸馏的理论与实践方法之间的差距，我们首先提出了一个通用的跨模态对比蒸馏（CMCD）框架，该框架建立在对比学习的基础上，利用正负对应关系，以更好地蒸馏可泛化的特征。此外，我们建立了全面的收敛性分析，揭示了源模态和目标模态之间的距离显著影响目标模态内下游任务的测试误差，这也被经验结果所验证。大量的实验结果表明，我们的算法在不同的模态和任务（包括图像、草图、深度图和音频模态，以及识别和分割任务）中，始终优于现有算法2-3%。

🔬 方法详解

问题定义：论文旨在解决跨模态蒸馏中缺乏理论指导的问题。现有方法主要集中在实验结果上，缺乏对跨模态蒸馏泛化性能的理论分析，难以解释为什么某些方法有效，以及如何进一步提升性能。此外，现有方法通常只关注正样本对的特征对齐，忽略了负样本对的信息。

核心思路：论文的核心思路是构建一个基于对比学习的跨模态蒸馏框架，并对其进行理论分析。通过对比学习，同时利用正样本对和负样本对的信息，学习更具区分性的特征表示，从而提升跨模态蒸馏的泛化性能。理论分析则旨在揭示源模态和目标模态之间的距离如何影响目标模态下游任务的测试误差。

技术框架：CMCD框架包含两个主要部分：特征提取和对比学习。首先，使用两个独立的神经网络分别提取源模态和目标模态的特征。然后，利用对比学习损失函数，促使正样本对的特征表示尽可能接近，而负样本对的特征表示尽可能远离。整个框架的目标是学习一个能够将源模态的知识迁移到目标模态的特征表示。

关键创新：论文的关键创新在于：(1) 提出了一个通用的跨模态对比蒸馏框架CMCD，该框架可以应用于不同的模态和任务。(2) 对CMCD框架进行了理论分析，揭示了模态距离对泛化性能的影响。(3) 利用对比学习同时考虑正负样本对，学习更具区分性的特征表示。与现有方法相比，CMCD框架不仅关注实验结果，更注重理论分析，从而为跨模态蒸馏提供了更强的理论支撑。

关键设计：CMCD框架的关键设计包括：(1) 使用InfoNCE损失函数作为对比学习的损失函数，该损失函数可以有效地学习区分性的特征表示。(2) 采用合适的正负样本选择策略，以保证对比学习的有效性。(3) 通过调整对比学习的温度参数，控制正负样本对之间的距离。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CMCD框架在图像、草图、深度图和音频等多种模态上，以及识别和分割等多种任务上，均优于现有算法2-3%。这表明CMCD框架具有良好的泛化性能和实用价值。理论分析结果也与实验结果相符，验证了模态距离对泛化性能的影响。

🎯 应用场景

该研究成果可应用于多种跨模态学习场景，例如：利用图像信息辅助草图识别、利用图像信息辅助深度图理解、利用视频信息辅助音频分析等。在数据标注成本高昂或数据隐私敏感的场景下，该方法具有重要的应用价值。未来，该方法有望应用于自动驾驶、机器人、医疗影像分析等领域。

📄 摘要（原文）

Cross-modality distillation arises as an important topic for data modalities containing limited knowledge such as depth maps and high-quality sketches. Such techniques are of great importance, especially for memory and privacy-restricted scenarios where labeled training data is generally unavailable. To solve the problem, existing label-free methods leverage a few pairwise unlabeled data to distill the knowledge by aligning features or statistics between the source and target modalities. For instance, one typically aims to minimize the L2 distance or contrastive loss between the learned features of pairs of samples in the source (e.g. image) and the target (e.g. sketch) modalities. However, most algorithms in this domain only focus on the experimental results but lack theoretical insight. To bridge the gap between the theory and practical method of cross-modality distillation, we first formulate a general framework of cross-modality contrastive distillation (CMCD), built upon contrastive learning that leverages both positive and negative correspondence, towards a better distillation of generalizable features. Furthermore, we establish a thorough convergence analysis that reveals that the distance between source and target modalities significantly impacts the test error on downstream tasks within the target modality which is also validated by the empirical results. Extensive experimental results show that our algorithm outperforms existing algorithms consistently by a margin of 2-3\% across diverse modalities and tasks, covering modalities of image, sketch, depth map, and audio and tasks of recognition and segmentation.