Calibrating Retrieval Geometry: Reliability-Guided Training-Free Aggregation for Visual Place Recognition

📄 arXiv: 2609.25937v1 📥 PDF

作者: Xin Li, Zhimin Mao, Shang Wang, Siyuan Duan, Geng Zhang

分类: cs.CV

发布日期: 2026-09-22

备注: 26 pages, 5 figures, 9 tables, including appendices

💡 一句话要点

提出TFA方法以解决视觉场所识别中的聚合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉场所识别 无监督学习 特征聚合 可靠性引导 冻结模型

📋 核心要点

  1. 现有方法在新环境中使用固定聚合方式，可能导致有用特征的丢失，影响视觉场所识别的准确性。
  2. 本文提出的TFA方法通过可靠性引导的聚合策略，无需训练和标签，能够有效提升特征的区分能力。
  3. 在20个基准测试中，TFA在多个数据集上显著提高了Recall@1，展示了其在无监督环境下的优越性能。

📝 摘要（中文）

冻结的视觉基础模型为视觉场所识别提供了可迁移的特征，但固定的聚合方式可能抑制新环境中的有用区分。本文提出了一种名为TFA的可靠性引导、无训练的聚合方法，无需场所标签或特定任务的权重更新。我们的关键观察是，可重复的检索不必具备区分性：独立的代码本可以一致地检索到少量数据库中心。TFA结合了跨代码本一致性、检索覆盖率和谱统计来控制残差分配、谱形状和全局特征融合。实验结果表明，TFA在多个基准测试中显著提高了检索性能，展示了可靠性引导聚合在新环境中恢复冻结表示的额外检索能力的潜力。

🔬 方法详解

问题定义：本文旨在解决视觉场所识别中固定聚合方式导致的特征区分能力不足的问题。现有方法在新环境中无法有效利用冻结模型的特征，影响检索性能。

核心思路：TFA方法的核心思想是通过可靠性引导的聚合策略，结合跨代码本一致性和谱统计，来优化特征的聚合过程，从而提升检索的准确性和鲁棒性。

技术框架：TFA的整体架构包括三个主要模块：跨代码本一致性评估、检索覆盖率分析和谱统计控制。首先，通过评估不同代码本之间的一致性来确定特征的可靠性；其次，分析检索覆盖率以确保特征的全面性；最后，利用谱统计来优化全局特征的融合。

关键创新：TFA的主要创新在于其无训练的聚合方式，能够在没有场所标签的情况下，通过可靠性引导来提升特征聚合的效果。这一方法与传统需要训练的聚合方法本质上不同，提供了一种新的思路。

关键设计：在TFA中，使用了64个不重叠的无标签目标图像进行检索校准，确保了聚合过程的有效性。此外，采用了谱核技术来精确恢复原始描述符的相似性，确保了聚合的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在20个基准测试中，数据库仅使用的TFA方法在MSLS-val上提高了17.39个百分点的Recall@1，在SPED上提高了9.55个百分点。TFA-C64在驾驶环境中有效缓解了数据库校准的失败，展示了其在多个数据集上的优越性能。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶、无人机导航和室内外定位等领域。通过提升视觉场所识别的准确性，TFA方法可以在缺乏场所监督的环境中提供更可靠的定位服务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Frozen visual foundation models provide transferable features for visual place recognition, but fixed aggregation can suppress useful distinctions in new environments. We introduce TFA, a reliability-guided, training-free aggregation method requiring neither place labels nor task-specific weight updates. Our key observation is that reproducible retrieval need not be discriminative: independent codebooks can consistently retrieve a few database hubs. TFA combines cross-codebook agreement, retrieval coverage, and spectral statistics to control residual assignment, spectral shaping, and global-feature fusion. Its spectral kernel exactly recovers original descriptor similarity at zero intervention. Database-only TFA fixes its rules before accessing queries; TFA-C64 uses 64 disjoint unlabeled target images to calibrate retrieval for subsequent queries. Across 20 ground protocols with a fixed DINOv2-B backbone and matched resolution, database-only TFA improves Recall@1 over AnyLoc by 17.39 percentage points on MSLS-val and 9.55 on SPED. C64 mitigates failures of database-only calibration in driving environments. Across eight aerial/cross-view protocols, TFA achieves the highest Recall@1 among compared training-free heads in 14 of 16 DINOv2/DINOv3 backbone-protocol combinations. In a separate native-system comparison, DINOv2-G-based TFA-C64 reaches 91.46% Recall@1 on Pitts30k and 76.29% on VPAIR, outperforming the displayed training-free comparators on all five benchmarks. These results show that reliability-guided aggregation can recover additional retrieval capability from frozen representations, providing a practical baseline for new environments with scarce place supervision.