Nearest Neighbor Normalization Improves Multimodal Retrieval

📄 arXiv: 2410.24114v1 📥 PDF

作者: Neil Chowdhury, Franklin Wang, Sumedh Shenoy, Douwe Kiela, Sarah Schwettmann, Tristan Thrush

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-10-31

期刊: EMNLP 2024

💡 一句话要点

提出近邻归一化（NNN）方法，无需额外训练即可提升多模态检索性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 近邻归一化 对比学习 图像文本检索 跨模态学习

📋 核心要点

  1. 现有对比学习多模态模型在跨模态检索任务中仍存在性能瓶颈，需要进一步提升检索准确率。
  2. 论文提出近邻归一化（NNN）方法，利用参考数据库中的近邻样本信息，对模型输出进行校正，无需额外训练。
  3. 实验结果表明，NNN 能够有效提升多种对比模型的检索性能，在 MS-COCO 和 Flickr30k 数据集上均有显著改进。

📝 摘要（中文）

多模态模型利用大规模预训练在图像描述、视觉问答和跨模态检索等任务上取得了显著但仍不完善的性能。本文提出了一种简单而有效的方法，称为近邻归一化（NNN），用于校正已训练的对比图像-文本检索模型中的错误，而无需额外的训练。我们展示了 NNN 在文本检索和图像检索的检索指标上均有所改进，适用于我们测试的所有对比模型（CLIP、BLIP、ALBEF、SigLIP、BEiT）以及我们使用的两个数据集（MS-COCO 和 Flickr30k）。NNN 需要一个参考数据库，但不需要在这个数据库上进行任何训练，甚至可以在微调后提高模型的检索准确率。

🔬 方法详解

问题定义：论文旨在解决多模态图像-文本检索任务中，现有对比学习模型检索精度不高的问题。现有方法虽然通过大规模预训练取得了较好效果，但仍存在误差，需要进一步提升检索性能。

核心思路：核心思想是利用参考数据库中与查询样本相似的样本信息，对模型的原始输出进行归一化校正。通过寻找查询样本的近邻样本，并利用这些近邻样本的分布信息，来调整原始检索结果，从而提高检索的准确性。这种方法无需额外的训练，可以直接应用于已训练好的模型。

技术框架：NNN 的整体流程如下：1. 给定一个已训练好的对比学习模型和一个参考数据库。2. 对于每个查询样本，使用对比学习模型计算其与参考数据库中所有样本的相似度。3. 选择相似度最高的 K 个近邻样本。4. 使用这些近邻样本的相似度信息，对原始的相似度得分进行归一化处理。5. 使用归一化后的相似度得分进行检索。

关键创新：NNN 的关键创新在于利用近邻样本的信息进行归一化，从而校正模型的误差。与传统的检索方法相比，NNN 不需要额外的训练，可以直接应用于已训练好的模型，并且可以有效地提高检索的准确性。此外，NNN 还可以与微调相结合，进一步提高模型的性能。

关键设计：NNN 的关键设计包括：1. 近邻样本的数量 K 的选择。K 的大小会影响归一化的效果，需要根据具体的数据集和模型进行调整。2. 相似度度量方法的选择。可以使用余弦相似度、欧氏距离等不同的相似度度量方法。3. 归一化方法的选择。可以使用不同的归一化方法，例如 softmax 归一化、L2 归一化等。论文中具体使用的参数设置和损失函数没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NNN 能够显著提升多种对比模型的检索性能，包括 CLIP、BLIP、ALBEF、SigLIP 和 BEiT。在 MS-COCO 和 Flickr30k 数据集上，NNN 在文本检索和图像检索任务上均取得了显著的改进。具体提升幅度未知，但摘要中明确指出“检索指标上均有所改进”。

🎯 应用场景

该研究成果可广泛应用于图像-文本跨模态检索领域，例如图像搜索引擎、视频内容理解、视觉问答等。通过提升检索精度，可以改善用户体验，提高信息检索效率。该方法无需额外训练的特性，使其易于部署和应用，具有很高的实际应用价值。

📄 摘要（原文）

Multimodal models leverage large-scale pre-training to achieve strong but still imperfect performance on tasks such as image captioning, visual question answering, and cross-modal retrieval. In this paper, we present a simple and efficient method for correcting errors in trained contrastive image-text retrieval models with no additional training, called Nearest Neighbor Normalization (NNN). We show an improvement on retrieval metrics in both text retrieval and image retrieval for all of the contrastive models that we tested (CLIP, BLIP, ALBEF, SigLIP, BEiT) and for both of the datasets that we used (MS-COCO and Flickr30k). NNN requires a reference database, but does not require any training on this database, and can even increase the retrieval accuracy of a model after finetuning.