The Overlooked Value of Test-time Reference Sets in Visual Place Recognition

📄 arXiv: 2510.03751v1 📥 PDF

作者: Mubariz Zaffar, Liangliang Nan, Sebastian Scherer, Julian F. P. Kooij

分类: cs.CV

发布日期: 2025-10-04

备注: Accepted at ICCV 2025 Workshop CrocoDL

💡 一句话要点

提出参考集微调方法，提升视觉定位在跨域场景下的泛化性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 领域自适应 参考集微调 机器人导航 图像检索

📋 核心要点

  1. 现有VPR方法在跨域场景下泛化性不足，测试环境与训练数据差异大导致性能下降。
  2. 利用测试时可用的参考集（地图）信息，通过微调VPR模型来适应目标域。
  3. 提出的参考集微调（RSF）方法，在多个具有挑战性的数据集上显著提升了SOTA性能。

📝 摘要（中文）

视觉定位（VPR）旨在给定查询图像，从参考数据库中检索同一地点的图像，同时对视角和外观变化保持鲁棒性。最近的研究表明，一些VPR基准测试可以通过使用视觉基础模型作为骨干网络，并在大规模和多样化的VPR特定数据集上训练的方法来解决。然而，当测试环境与常见的VPR训练数据集显著不同时，一些基准测试仍然具有挑战性。本文提出了一种互补的、未被充分利用的信息来源，以弥合训练-测试域的差距，从而进一步提高最先进（SOTA）VPR方法在这些具有挑战性的基准测试上的性能。具体而言，我们发现测试时的参考集（即“地图”）包含目标域的图像和姿态，并且在许多VPR应用中必须在接收到测试时查询之前可用。因此，我们提出对地图上的VPR模型执行简单的参考集微调（RSF），从而在这些具有挑战性的数据集上提高了SOTA（平均Recall@1提高了约2.3%）。微调后的模型保留了泛化能力，并且RSF适用于不同的测试数据集。

🔬 方法详解

问题定义：视觉定位（VPR）任务旨在解决在不同视角和光照条件下，如何准确地从参考图像数据库中检索与查询图像对应位置的问题。现有VPR方法在训练数据与测试数据分布一致时表现良好，但在实际应用中，测试环境往往与训练环境存在显著差异，导致模型泛化能力下降，定位精度降低。现有方法难以有效利用测试时可用的参考集信息来提升模型在目标域的性能。

核心思路：本文的核心思路是利用测试时可用的参考集（Reference Set）信息，对VPR模型进行微调，使其适应目标域的图像特征分布。参考集包含了目标环境的图像和姿态信息，可以有效地弥合训练数据和测试数据之间的域差异，从而提高VPR模型的定位精度和鲁棒性。

技术框架：该方法主要包含两个阶段：首先，使用大规模VPR数据集预训练一个VPR模型。然后，在测试时，利用目标环境的参考集数据，对预训练模型进行微调（Reference-Set-Finetuning, RSF）。微调后的模型用于在目标环境中进行视觉定位。整体流程简单易懂，易于实现。

关键创新：该方法最重要的创新点在于提出了利用测试时参考集信息进行模型微调的策略。与传统的VPR方法不同，该方法充分利用了目标环境的先验知识，通过微调使模型更好地适应目标域的图像特征分布，从而显著提高了VPR模型在跨域场景下的泛化性能。

关键设计：RSF的关键在于如何有效地利用参考集数据进行微调。论文采用了一种简单的微调策略，即使用参考集数据对预训练模型的参数进行少量迭代的更新。具体来说，可以使用对比损失函数或三元组损失函数来训练模型，使得相同位置的图像在特征空间中更加接近，而不同位置的图像则更加远离。微调的学习率通常设置为一个较小的值，以避免过度拟合参考集数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的参考集微调（RSF）方法在多个具有挑战性的VPR数据集上显著提高了SOTA性能。例如，在某些数据集上，Recall@1指标平均提升了约2.3%。此外，微调后的模型保留了良好的泛化能力，并且RSF方法适用于不同的测试数据集，证明了该方法的有效性和通用性。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。在机器人导航中，可以利用该方法提高机器人在未知环境中的定位精度和鲁棒性。在自动驾驶中，可以利用该方法提高车辆在复杂交通场景下的定位可靠性。在增强现实中，可以利用该方法实现更精确的虚拟物体与现实场景的对齐。

📄 摘要（原文）

Given a query image, Visual Place Recognition (VPR) is the task of retrieving an image of the same place from a reference database with robustness to viewpoint and appearance changes. Recent works show that some VPR benchmarks are solved by methods using Vision-Foundation-Model backbones and trained on large-scale and diverse VPR-specific datasets. Several benchmarks remain challenging, particularly when the test environments differ significantly from the usual VPR training datasets. We propose a complementary, unexplored source of information to bridge the train-test domain gap, which can further improve the performance of State-of-the-Art (SOTA) VPR methods on such challenging benchmarks. Concretely, we identify that the test-time reference set, the "map", contains images and poses of the target domain, and must be available before the test-time query is received in several VPR applications. Therefore, we propose to perform simple Reference-Set-Finetuning (RSF) of VPR models on the map, boosting the SOTA (~2.3% increase on average for Recall@1) on these challenging datasets. Finetuned models retain generalization, and RSF works across diverse test datasets.