Scale, Don't Fine-tune: Guiding Multimodal LLMs for Efficient Visual Place Recognition at Test-Time

📄 arXiv: 2509.02129v1 📥 PDF

作者: Jintao Cheng, Weibin Li, Jiehao Luo, Xiaoyu Tang, Zhijian He, Jin Wu, Yao Zou, Wei Zhang

分类: cs.LG, cs.CV

发布日期: 2025-09-02

💡 一句话要点

提出测试时缩放框架，引导多模态LLM实现高效视觉定位，无需微调。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 多模态大语言模型 测试时缩放 零样本学习 跨领域泛化 提示工程 不确定性感知 机器人导航

📋 核心要点

  1. 现有VPR方法计算开销大，微调后跨领域迁移能力有限，难以适应新环境。
  2. 提出测试时缩放（TTS）框架，利用MLLM的视觉-语言对齐能力，实现零样本VPR。
  3. 实验表明，该方法在跨领域VPR任务上性能显著提升，计算效率提高高达210倍。

📝 摘要（中文）

视觉定位（VPR）已经从手工设计的描述符发展到深度学习方法，但仍然存在显著的挑战。目前的方法，包括视觉基础模型（VFMs）和多模态大型语言模型（MLLMs），增强了语义理解，但存在计算开销高以及微调时跨领域迁移能力有限的问题。为了解决这些限制，我们提出了一种新颖的零样本框架，该框架采用测试时缩放（TTS），利用MLLMs的视觉-语言对齐能力，通过基于指导的方法进行直接相似性评分。我们的方法通过采用生成长度可控JSON输出的结构化提示，消除了两阶段处理。具有不确定性感知自洽性（UASC）的TTS框架能够在没有额外训练成本的情况下实现实时适应，从而在不同的环境中实现卓越的泛化。实验结果表明，跨领域VPR性能得到了显著提高，计算效率提高了高达210倍。

🔬 方法详解

问题定义：视觉定位（VPR）旨在确定查询图像在已知环境中的位置。现有基于深度学习的VPR方法，特别是基于视觉基础模型（VFMs）和多模态大型语言模型（MLLMs）的方法，虽然提升了语义理解能力，但通常需要大量的计算资源，并且在跨领域应用时需要进行微调，这限制了它们的泛化能力和效率。因此，如何在不进行微调的情况下，利用MLLM的强大能力实现高效且泛化的VPR是一个关键问题。

核心思路：本文的核心思路是利用多模态大型语言模型（MLLMs）的视觉-语言对齐能力，通过测试时缩放（TTS）框架，直接对查询图像和参考图像进行相似性评分，而无需进行传统的特征提取和匹配。通过精心设计的提示（Prompt），引导MLLM生成结构化的JSON输出，从而实现可控的相似度计算。这种方法避免了对MLLM进行微调，降低了计算成本，并提高了跨领域泛化能力。

技术框架：该框架主要包含以下几个阶段：1) 图像编码：使用视觉编码器（例如CLIP）提取查询图像和参考图像的视觉特征。2) 提示工程：设计结构化的提示，引导MLLM生成包含相似度评分的JSON格式输出。提示中包含图像的描述信息，以及要求MLLM对图像对进行相似度评估的指令。3) MLLM推理：将图像特征和提示输入MLLM，MLLM根据提示生成JSON格式的相似度评分。4) 测试时缩放（TTS）：通过调整提示中的参数，例如缩放因子，来优化相似度评分，提高VPR的准确性。5) 不确定性感知自洽性（UASC）：利用多次推理结果的不确定性来进一步提升性能。

关键创新：该论文的关键创新在于：1) 提出了测试时缩放（TTS）框架，无需微调即可利用MLLM进行VPR。2) 设计了结构化的提示，引导MLLM生成可控的JSON输出，从而实现直接的相似度评分。3) 引入了不确定性感知自洽性（UASC）机制，进一步提升了VPR的鲁棒性。与现有方法相比，该方法避免了对MLLM进行微调，降低了计算成本，并提高了跨领域泛化能力。

关键设计：1) 提示设计：提示包含图像的描述信息（例如场景类型、物体等），以及要求MLLM对图像对进行相似度评估的指令。提示的结构和内容对MLLM的输出质量有重要影响。2) 缩放因子：TTS框架通过调整提示中的缩放因子来优化相似度评分。缩放因子的选择需要根据具体任务进行调整。3) 不确定性度量：UASC机制利用多次推理结果的方差来衡量不确定性。不确定性高的结果会被赋予较低的权重。

📊 实验亮点

实验结果表明，该方法在多个跨领域VPR数据集上取得了显著的性能提升。例如，在某些数据集上，该方法的准确率超过了现有方法，并且计算效率提高了高达210倍。此外，不确定性感知自洽性（UASC）机制进一步提升了VPR的鲁棒性。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、增强现实等领域。例如，机器人可以在未知环境中利用该方法进行定位和导航，自动驾驶系统可以利用该方法识别地标建筑，增强现实应用可以利用该方法将虚拟物体与真实场景进行对齐。该方法无需微调的特性使其能够快速部署到新的环境中，具有很高的实用价值。

📄 摘要（原文）

Visual Place Recognition (VPR) has evolved from handcrafted descriptors to deep learning approaches, yet significant challenges remain. Current approaches, including Vision Foundation Models (VFMs) and Multimodal Large Language Models (MLLMs), enhance semantic understanding but suffer from high computational overhead and limited cross-domain transferability when fine-tuned. To address these limitations, we propose a novel zero-shot framework employing Test-Time Scaling (TTS) that leverages MLLMs' vision-language alignment capabilities through Guidance-based methods for direct similarity scoring. Our approach eliminates two-stage processing by employing structured prompts that generate length-controllable JSON outputs. The TTS framework with Uncertainty-Aware Self-Consistency (UASC) enables real-time adaptation without additional training costs, achieving superior generalization across diverse environments. Experimental results demonstrate significant improvements in cross-domain VPR performance with up to 210$\times$ computational efficiency gains.