Global Average Precision for Representation Learning

📄 arXiv: 2610.09863v1 📥 PDF

作者: Bill Psomas, Mohammad Mahdi, Michalis Thomas, Danda Pani Paudel, Giorgos Tolias, Giorgos Kordopatis-Zilos

分类: cs.CV, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出gSAP以解决现有信息检索指标的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 信息检索 平均精度 表示学习 跨模态对齐 自监督学习 深度学习

📋 核心要点

  1. 现有的平均精度（mAP）等信息检索指标在评估时未考虑查询间的相似性可比性，限制了性能提升。
  2. 论文提出全球平均精度（gAP）及其可微替代品gSAP，能够同时考虑所有查询-候选对的相似性，提升了训练效果。
  3. gSAP在多个任务中表现优异，能够在相同精度下检索到最多四倍的正对，并在没有正对的查询中表现更稳定。

📝 摘要（中文）

标准的信息检索指标，如平均精度（mAP），通常逐个查询评估性能，未考虑查询间相似性的可比性。本文提出全球平均精度（gAP），通过对所有查询-候选对进行排名，计算单一的AP。引入的gSAP是gAP的可微替代品，仅需相似度矩阵和标记正对的二进制矩阵，适用于现有损失函数，且与编码器、模态和监督源无关。gSAP在低温度下仍可训练，显著提升了监督度量学习、跨模态对齐和自监督预训练的效果。

🔬 方法详解

问题定义：本文旨在解决现有信息检索指标（如mAP）在评估时未考虑查询间相似性可比性的问题。这导致在使用单一决策阈值的系统中，性能评估存在局限性。

核心思路：提出全球平均精度（gAP），通过将所有查询-候选对进行排名，计算一个统一的AP值。引入的gSAP是gAP的可微替代品，能够在现有损失函数的基础上进行替换，且不依赖于具体的编码器或模态。

技术框架：gSAP的整体架构包括输入相似度矩阵和标记正对的二进制矩阵，计算过程中考虑所有可能的成对比较，确保在低温度下仍然可训练。

关键创新：gSAP是第一个能够替代社区标准InfoNCE的排名损失函数，显著提升了模型在监督度量学习和自监督预训练中的表现。

关键设计：gSAP的设计包括使用相似度矩阵和二进制标记矩阵作为输入，损失函数的计算方式确保了在低温度下的有效训练，且在不同任务中均表现出更高的转移能力和分类准确率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，gSAP在相同精度下能够检索到最多四倍的正对，相较于最强的AP替代品，性能提升显著。此外，当添加没有正对的查询时，gSAP的性能下降最小，展现出更好的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、图像检索、跨模态学习等。gSAP的引入能够提升模型在这些领域的表现，尤其是在处理复杂查询和多样化数据时，具有重要的实际价值和未来影响。

📄 摘要（原文）

Standard information retrieval metrics, such as mean Average Precision (mAP), assess performance one query at a time, based on how the similarities between a query and its positives compare against those with its negatives. The same holds for common representation learning losses, such as InfoNCE and per-query AP surrogates. None of them considers whether similarities are comparable across queries, which any system with a single decision threshold relies on. Global Average Precision (gAP) does, by ranking all query-candidate pairs in one list and computing a single AP. We introduce gSAP, a differentiable surrogate of gAP. It needs only a similarity matrix and a binary matrix marking the positive pairs, the same input as existing losses, so it is a drop-in replacement for them and agnostic to the encoder, the modality, and the source of supervision. Since it considers all possible pairwise comparisons in the batch jointly, it also remains trainable at low temperatures, a regime where per-query surrogates run out of gradient. Swapping it into established recipes improves supervised metric learning, cross-modal alignment, and self-supervised pretraining, where, to our knowledge, it is the first ranking loss to replace the community standard InfoNCE in the latter two. Its similarities are more consistent across queries, which drives the gains under a universal threshold. gSAP retrieves up to four times as many positive pairs as the strongest AP surrogate at the same precision, and it degrades the least when queries with no positives in the database are added. Beyond thresholding, models trained with gSAP also learn better representations, with higher transfer, $k$NN and zero-shot classification accuracy.