Active Data Curation Effectively Distills Large-Scale Multimodal Models

📄 arXiv: 2411.18674v2 📥 PDF

作者: Vishaal Udandarao, Nikhil Parthasarathy, Muhammad Ferjad Naeem, Talfan Evans, Samuel Albanie, Federico Tombari, Yongqin Xian, Alessio Tonioni, Olivier J. Hénaff

分类: cs.CV, cs.LG

发布日期: 2024-11-27 (更新: 2025-05-05)

备注: Accepted to IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2025

💡 一句话要点

提出ACID主动数据筛选方法，有效蒸馏大规模多模态模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 主动学习 多模态学习 对比学习 模型压缩 数据筛选 零样本学习

📋 核心要点

  1. 现有知识蒸馏方法复杂度高，依赖复杂的目标函数和模型集成，效率较低。
  2. 提出ACID主动数据筛选方法，通过在线选择信息量大的批次进行训练，提升蒸馏效率。
  3. ACID方法在多个数据集和任务上超越了传统知识蒸馏方法，并能与传统方法结合进一步提升性能。

📝 摘要（中文）

知识蒸馏(KD)已成为将大型模型压缩为小型模型的标准方法。先前的工作探索了更为复杂的KD策略，涉及不同的目标函数、教师集成和权重继承。本文探索了一种替代但简单的方法——主动数据筛选，作为对比多模态预训练的有效蒸馏方法。我们简单的在线批次选择方法ACID，在各种模型、数据和计算配置中优于强大的KD基线。此外，我们发现这种主动数据筛选策略实际上是对标准KD的补充，并且可以有效地结合使用以训练高性能、推理高效的模型。我们简单且可扩展的预训练框架ACED，在27个零样本分类和检索任务中取得了最先进的结果，同时减少了高达11%的推理FLOPs。我们进一步证明，我们的ACED模型为LiT-Decoder设置中训练生成多模态模型提供了强大的视觉编码器，在图像描述和视觉问答任务中优于更大的视觉编码器。

🔬 方法详解

问题定义：论文旨在解决大规模多模态模型的知识蒸馏问题。现有知识蒸馏方法通常依赖于复杂的目标函数、教师模型集成或权重继承等策略，计算成本高昂，且可能难以有效提取教师模型的关键知识。这些方法的痛点在于效率低、泛化能力受限，难以适应不同规模和类型的数据集。

核心思路：论文的核心思路是通过主动数据筛选来提升知识蒸馏的效率和效果。作者认为，并非所有数据样本都包含同等重要的信息，因此，选择信息量大的样本进行训练可以更有效地将知识从大型模型传递到小型模型。这种方法避免了对所有数据进行无差别训练，从而降低了计算成本，并可能提高模型的泛化能力。

技术框架：论文提出的ACED框架包含两个主要部分：ACID（Active data curation）和标准知识蒸馏。ACID模块负责在线选择每个批次中信息量最大的样本。具体来说，它计算每个样本的梯度范数，并选择梯度范数最大的样本组成一个批次。然后，使用这些选定的批次进行标准知识蒸馏训练。ACED框架可以与不同的知识蒸馏方法结合使用，进一步提升性能。

关键创新：论文的关键创新在于提出了ACID主动数据筛选方法。与传统的知识蒸馏方法不同，ACID方法不依赖于复杂的目标函数或模型集成，而是通过选择信息量大的样本来提升蒸馏效率。这种方法简单有效，并且可以与现有的知识蒸馏方法结合使用。ACID方法的核心在于利用梯度范数来衡量样本的信息量，并选择梯度范数最大的样本进行训练。

关键设计：ACID方法的关键设计在于梯度范数的计算和批次选择策略。具体来说，对于每个样本，ACID方法计算其在当前模型下的梯度范数。然后，ACID方法选择梯度范数最大的前k个样本组成一个批次。k是一个超参数，需要根据具体任务进行调整。此外，ACID方法还可以与不同的损失函数结合使用，例如交叉熵损失或对比损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACID方法在27个零样本分类和检索任务中取得了最先进的结果，并且在推理时减少了高达11%的FLOPs。此外，ACED模型在图像描述和视觉问答任务中优于更大的视觉编码器，证明了其在生成多模态模型方面的潜力。实验结果表明，ACID方法是一种有效的知识蒸馏方法，可以显著提升模型的性能和效率。

🎯 应用场景

该研究成果可应用于各种需要压缩和加速大规模多模态模型的场景，例如移动设备上的图像识别、视频理解和自然语言处理等。通过主动数据筛选，可以训练出更小、更快、更高效的模型，从而降低计算成本，提高用户体验，并促进人工智能技术在资源受限环境中的应用。

📄 摘要（原文）

Knowledge distillation (KD) is the de facto standard for compressing large-scale models into smaller ones. Prior works have explored ever more complex KD strategies involving different objective functions, teacher-ensembles, and weight inheritance. In this work we explore an alternative, yet simple approach -- active data curation as effective distillation for contrastive multimodal pretraining. Our simple online batch selection method, ACID, outperforms strong KD baselines across various model-, data- and compute-configurations. Further, we find such an active data curation strategy to in fact be complementary to standard KD, and can be effectively combined to train highly performant inference-efficient models. Our simple and scalable pretraining framework, ACED, achieves state-of-the-art results across 27 zero-shot classification and retrieval tasks with upto 11% less inference FLOPs. We further demonstrate that our ACED models yield strong vision-encoders for training generative multimodal models in the LiT-Decoder setting, outperforming larger vision encoders for image-captioning and visual question-answering tasks.