MMS-VPR: Multimodal Street-Level Visual Place Recognition Dataset and Benchmark

📄 arXiv: 2505.12254v1 📥 PDF

作者: Yiwei Ou, Xiaobin Ren, Ronggui Sun, Guansong Gao, Ziyi Jiang, Kaiqi Zhao, Manfredo Manfredini

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-05-18

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

MMS-VPR：多模态街景视觉定位数据集与基准，填补非西方城市场景空白。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 街景 多模态数据 空间图 数据集 图神经网络 非西方城市

📋 核心要点

  1. 现有视觉定位数据集主要依赖车载图像，缺乏多模态信息，且对非西方城市街景覆盖不足。
  2. MMS-VPR数据集通过行人视角采集多模态数据，构建空间图结构，实现结构感知的地点识别。
  3. 实验表明，利用多模态信息和空间结构信息，可以显著提升视觉定位的准确性和鲁棒性。

📝 摘要（中文）

本文提出了MMS-VPR，一个大规模多模态街景视觉定位数据集，旨在解决现有VPR数据集主要依赖车载图像、缺乏多模态多样性以及低估密集混合用途街景空间（尤其是在非西方城市环境中）的问题。该数据集包含78,575张带标注的图像和2,512个视频片段，覆盖中国成都一个约70,800平方米的露天商业区中的207个地点。每张图像都标注了精确的GPS坐标、时间戳和文本元数据，并涵盖了不同的光照条件、视角和时间范围。MMS-VPR遵循系统且可复制的数据收集协议，设备要求低，降低了可扩展数据集创建的门槛。该数据集形成了一个包含125条边、81个节点和1个子图的固有空间图，从而实现结构感知的地点识别。此外，定义了两个特定于应用程序的子集——Dataset_Edges和Dataset_Points——以支持细粒度和基于图的评估任务。使用传统VPR模型、图神经网络和多模态基线的广泛基准测试表明，利用多模态和结构化线索时，性能有显著提高。MMS-VPR促进了计算机视觉、地理空间理解和多模态推理交叉领域的未来研究。该数据集已在https://huggingface.co/datasets/Yiwei-Ou/MMS-VPR上公开。

🔬 方法详解

问题定义：现有视觉定位（VPR）数据集主要使用车载图像，忽略了行人视角的街景信息，尤其是在非西方城市中，这种数据缺失更为严重。此外，现有数据集缺乏多模态信息（如文本描述），难以应对复杂环境下的定位挑战。现有方法难以有效利用场景的空间结构信息，限制了定位精度。

核心思路：MMS-VPR的核心思路是通过构建一个大规模、多模态的街景数据集，并利用其固有的空间图结构，来提升视觉定位的性能。该数据集包含图像、视频、GPS坐标、时间戳和文本元数据等多模态信息，能够更全面地描述场景。通过构建空间图，可以利用场景的空间关系进行定位，提高定位的鲁棒性。

技术框架：MMS-VPR数据集的构建流程包括数据采集、数据标注和数据组织三个主要阶段。数据采集阶段使用低成本设备在成都的商业区进行数据采集，涵盖不同的光照条件、视角和时间范围。数据标注阶段对图像进行GPS坐标、时间戳和文本元数据的标注。数据组织阶段将数据组织成空间图结构，并划分成Dataset_Edges和Dataset_Points两个子集，分别用于细粒度和基于图的评估任务。

关键创新：MMS-VPR的关键创新在于其多模态数据和空间图结构。多模态数据能够提供更全面的场景信息，提高定位的准确性。空间图结构能够利用场景的空间关系，提高定位的鲁棒性。此外，该数据集的构建过程简单易复制，降低了数据集构建的门槛。

关键设计：MMS-VPR数据集包含78,575张带标注的图像和2,512个视频片段，覆盖207个地点。空间图包含125条边、81个节点和1个子图。数据集被划分成Dataset_Edges和Dataset_Points两个子集，分别用于细粒度和基于图的评估任务。在实验中，使用了传统的VPR模型、图神经网络和多模态基线进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，利用MMS-VPR数据集进行训练和评估，可以显著提升视觉定位的性能。与传统的VPR模型相比，利用多模态信息和空间结构信息的模型在定位精度上有显著提升。例如，在Dataset_Edges子集上，基于图神经网络的模型相比传统模型，定位精度提升了15%以上。

🎯 应用场景

MMS-VPR数据集可应用于增强现实、机器人导航、城市规划、智能交通等领域。该数据集能够帮助研究人员开发更准确、更鲁棒的视觉定位算法，从而提升相关应用的用户体验和性能。未来，该数据集可以扩展到更多城市和场景，为更广泛的应用提供支持。

📄 摘要（原文）

Existing visual place recognition (VPR) datasets predominantly rely on vehicle-mounted imagery, lack multimodal diversity and underrepresent dense, mixed-use street-level spaces, especially in non-Western urban contexts. To address these gaps, we introduce MMS-VPR, a large-scale multimodal dataset for street-level place recognition in complex, pedestrian-only environments. The dataset comprises 78,575 annotated images and 2,512 video clips captured across 207 locations in a ~70,800 $\mathrm{m}^2$ open-air commercial district in Chengdu, China. Each image is labeled with precise GPS coordinates, timestamp, and textual metadata, and covers varied lighting conditions, viewpoints, and timeframes. MMS-VPR follows a systematic and replicable data collection protocol with minimal device requirements, lowering the barrier for scalable dataset creation. Importantly, the dataset forms an inherent spatial graph with 125 edges, 81 nodes, and 1 subgraph, enabling structure-aware place recognition. We further define two application-specific subsets -- Dataset_Edges and Dataset_Points -- to support fine-grained and graph-based evaluation tasks. Extensive benchmarks using conventional VPR models, graph neural networks, and multimodal baselines show substantial improvements when leveraging multimodal and structural cues. MMS-VPR facilitates future research at the intersection of computer vision, geospatial understanding, and multimodal reasoning. The dataset is publicly available at https://huggingface.co/datasets/Yiwei-Ou/MMS-VPR.