GeoGAT: Bidirectional Temporal Sampling Meets Hierarchical Graph Attention for Global Video Geo-localization

📄 arXiv: 2609.39128v1 📥 PDF

作者: Junchao Cui, Xuanzi Ma, Wenqi Shi, Hangyu Li, Biru Zhu, Chong Fu, Xiangyang Luo

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出GeoGAT以解决全球视频地理定位中的层次冲突问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频地理定位 图注意力网络 双向时间采样 层次冲突 时空特征 复杂视频理解 机器学习 深度学习

📋 核心要点

  1. 现有方法在处理复杂多镜头编辑视频时，容易导致地理线索丢失和层次间预测冲突。
  2. GeoGAT通过双向时间采样和图注意力网络，提取互补的时空特征，增强了模型的地理定位能力。
  3. 在CityGuessr68k和GeoGAT10k数据集上，GeoGAT消除了层次冲突，且在城市层面上提升了2.6个百分点，在复杂视频上提升超过24个百分点。

📝 摘要（中文）

全球视频地理定位旨在推断视频的地理位置，评估四个地理层次的性能：城市、省州、国家和大陆。现有方法通常采用单向均匀采样处理视频帧，并为每个层次训练独立分类器，这导致关键地理线索的丢失和层次间的预测冲突。为了解决这些问题，本文提出了GeoGAT，结合了双向时间采样和图注意力网络（GAT）。GeoGAT提取正向和反向帧序列以构建互补的时空特征，并通过GAT在预定义的地理层次图中进行结构感知的信息传递，采用双重约束机制修剪预测以消除层次间的冲突。实验结果表明，GeoGAT在所有四个地理层次上均实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决全球视频地理定位中的层次冲突问题。现有方法通常采用单向均匀采样，导致重要地理线索的丢失和不同层次间的预测冲突，尤其在处理复杂的多镜头编辑视频时表现不佳。

核心思路：GeoGAT的核心思路是结合双向时间采样和图注意力网络（GAT），通过提取正向和反向的帧序列，构建互补的时空特征，从而增强模型对地理信息的理解和定位能力。

技术框架：GeoGAT的整体架构包括两个主要模块：首先，通过双向时间采样提取视频帧，构建时空特征；其次，将这些特征输入到预定义的地理层次图中，利用GAT进行结构感知的信息传递，并通过双重约束机制修剪预测。

关键创新：GeoGAT的主要创新在于其双向时间采样和图注意力网络的结合，能够有效消除层次间的预测冲突，这在现有方法中是未曾实现的。

关键设计：在模型设计中，GeoGAT采用了特定的损失函数来优化层次间的预测一致性，并通过图注意力机制增强了特征的表达能力，确保了模型在复杂视频结构上的强泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoGAT在CityGuessr68k数据集上超越最强基线，城市层面提升2.6个百分点；在更具挑战性的GeoGAT10k数据集上，准确率提升超过24个百分点，验证了其在复杂真实场景中的强泛化能力。

🎯 应用场景

该研究在全球视频地理定位领域具有广泛的应用潜力，能够为地图服务、旅游推荐、视频监控等场景提供准确的地理信息支持。随着视频内容的日益丰富，GeoGAT的技术可以帮助提升地理信息系统的智能化水平，推动相关产业的发展。

📄 摘要（原文）

Global video geo-localization aims to infer the geographic location of a video worldwide, evaluating performance across four geographic hierarchies: city, state/province, country, and continent. Existing methods typically employ one-way uniform sampling to process video frames and train independent classifiers for each hierarchy, which leads to the loss of key geographic cues and prediction conflicts between hierarchies, especially for complex multi-shot edited videos. To address these limitations, we propose GeoGAT, which integrates bidirectional temporal sampling with graph attention networks (GATs). Specifically, GeoGAT extracts forward and offset-reversed frame sequences to construct complementary spatiotemporal features. These fused features are then fed into a predefined geographical hierarchy graph, where GATs perform structure-aware message passing, while a dual-constraint mechanism prunes predictions to eliminate cross-hierarchy conflicts. We construct GeoGAT10k, comprising 9,720 multi-shot edited videos from 166 cities worldwide, specifically to benchmark generalization ability on complex video structures. Experimental results on CityGuessr68k and GeoGAT10k demonstrate that GeoGAT eliminates hierarchical conflicts entirely and achieves state-of-the-art performance across all four geographic hierarchies. On CityGuessr68k, GeoGAT outperforms the strongest baseline, evaluated under both classification and retrieval protocols, by 2.6 percentage points at the city level. On the more challenging GeoGAT10k with multi-shot edited videos, the accuracy improvement exceeds 24 percentage points, validating strong generalization to complex real-world scenarios.