LEMoN: Label Error Detection using Multimodal Neighbors

📄 arXiv: 2407.18941v2 📥 PDF

作者: Haoran Zhang, Aparna Balagopalan, Nassim Oufattole, Hyewon Jeong, Yan Wu, Jiacheng Zhu, Marzyeh Ghassemi

分类: cs.CV, cs.LG

发布日期: 2024-07-10 (更新: 2025-06-04)

备注: Published in ICML 2025

💡 一句话要点

LEMoN：利用多模态邻域检测图像-文本数据集中错误标注

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 标签错误检测 多模态学习 图像-文本对 对比学习 数据清洗 视觉-语言模型

📋 核心要点

  1. 现有图像-文本数据集存在大量错误标注，直接影响下游视觉-语言模型的性能，亟需有效方法进行清洗。
  2. LEMoN利用对比预训练模型的多模态潜在空间，通过分析图像-文本对的邻域关系来识别错误标注。
  3. 实验表明，LEMoN在标签错误检测方面优于现有方法，且使用LEMoN过滤后的数据训练能显著提升下游任务性能。

📝 摘要（中文）

大规模图像-文本对数据集对于视觉-语言模型的发展至关重要。然而，这些数据集通常从网络上抓取的嘈杂数据中提取，包含许多错误标注的实例。为了提高下游模型的可靠性，识别和过滤具有错误标题的图像非常重要。除了基于图像-标题嵌入相似性的过滤之外，之前没有工作提出其他方法来过滤嘈杂的多模态数据，也没有具体评估嘈杂的标题数据对下游训练的影响。在这项工作中，我们提出、理论证明和经验验证了LEMoN，一种用于识别图像-标题数据集中标签错误的方法。我们的方法利用对比预训练多模态模型潜在空间中图像-标题对的多模态邻域来自动识别标签错误。通过对八个数据集和十二个基线的实证评估，我们发现LEMoN在标签错误检测方面优于基线3%以上，并且使用我们的方法过滤的数据集进行训练，下游标题性能比嘈杂训练提高了2个BLEU点以上。

🔬 方法详解

问题定义：论文旨在解决图像-文本数据集中存在的错误标注问题。现有方法主要依赖于图像-标题嵌入的相似性进行过滤，缺乏更有效的噪声数据过滤方法，并且没有充分评估噪声数据对下游任务的具体影响。

核心思路：论文的核心思路是利用多模态邻域信息来识别错误标注。具体来说，如果一个图像-文本对在其多模态潜在空间中的邻域内与其他图像-文本对不一致，则很可能存在标注错误。这种方法基于一个假设：正确的图像-文本对应该在其邻域内具有相似的语义信息。

技术框架：LEMoN方法的整体框架如下：1) 使用对比预训练的多模态模型（如CLIP）将图像和文本编码到共享的潜在空间中。2) 对于每个图像-文本对，计算其在潜在空间中的k个最近邻。3) 基于邻域内图像和文本的相似性，计算一个置信度分数，表示该图像-文本对的标注正确性。4) 根据置信度分数对图像-文本对进行排序，并过滤掉置信度较低的样本。

关键创新：LEMoN的关键创新在于利用了多模态邻域信息进行标签错误检测。与仅依赖图像-标题嵌入相似性的方法相比，LEMoN能够更全面地考虑图像和文本之间的关系，从而更准确地识别错误标注。此外，论文还对LEMoN方法进行了理论分析，并验证了其有效性。

关键设计：LEMoN的关键设计包括：1) 使用对比学习预训练的多模态模型，以获得高质量的图像和文本嵌入。2) 选择合适的距离度量（如余弦相似度）来计算潜在空间中的邻域关系。3) 设计合理的置信度分数计算方法，以准确评估图像-文本对的标注正确性。4) 通过实验确定最佳的邻域大小k和置信度阈值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LEMoN在八个数据集上的标签错误检测性能优于十二个基线方法，平均提升超过3%。更重要的是，使用LEMoN过滤后的数据集训练下游图像描述模型，BLEU分数比在原始噪声数据上训练的模型提高了2个点以上，验证了LEMoN在提升下游任务性能方面的有效性。

🎯 应用场景

LEMoN可广泛应用于各种视觉-语言任务，例如图像描述、视觉问答、图像检索等。通过过滤掉错误标注的数据，可以提高这些任务的模型训练效率和性能。此外，LEMoN还可以用于构建更可靠的图像-文本数据集，从而促进视觉-语言领域的研究和发展。该方法在自动驾驶、医疗影像分析等领域也有潜在应用价值。

📄 摘要（原文）

Large repositories of image-caption pairs are essential for the development of vision-language models. However, these datasets are often extracted from noisy data scraped from the web, and contain many mislabeled instances. In order to improve the reliability of downstream models, it is important to identify and filter images with incorrect captions. However, beyond filtering based on image-caption embedding similarity, no prior works have proposed other methods to filter noisy multimodal data, or concretely assessed the impact of noisy captioning data on downstream training. In this work, we propose, theoretically justify, and empirically validate LEMoN, a method to identify label errors in image-caption datasets. Our method leverages the multimodal neighborhood of image-caption pairs in the latent space of contrastively pretrained multimodal models to automatically identify label errors. Through empirical evaluations across eight datasets and twelve baselines, we find that LEMoN outperforms the baselines by over 3% in label error detection, and that training on datasets filtered using our method improves downstream captioning performance by more than 2 BLEU points over noisy training.