GPS-MTM: Capturing Pattern of Normalcy in GPS-Trajectories with self-supervised learning

📄 arXiv: 2509.24031v2 📥 PDF

作者: Umang Garg, Bowen Zhang, Anantajit Subrahmanya, Chandrakanth Gudavalli, BS Manjunath

分类: cs.LG, cs.AI, cs.CV, cs.MA

发布日期: 2025-09-28 (更新: 2025-10-08)

备注: 4 pages, 2 figures

💡 一句话要点

GPS-MTM：利用自监督学习捕获GPS轨迹中的常态模式

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轨迹建模 自监督学习 Transformer 掩码建模 移动数据 行为预测

📋 核心要点

  1. 现有轨迹建模方法通常将轨迹扁平化为坐标流，忽略了轨迹中蕴含的语义信息。
  2. GPS-MTM将轨迹分解为状态和动作两种模态，利用自监督学习重建缺失片段，从而学习轨迹的语义相关性。
  3. 实验表明，GPS-MTM在轨迹填充和下一站预测等任务上优于现有方法，尤其在动态任务中表现突出。

📝 摘要（中文）

本文提出GPS掩码轨迹Transformer (GPS-MTM)，一个用于大规模移动数据的基石模型，旨在捕获人类移动中的常态模式。与以往将轨迹扁平化为坐标流的方法不同，GPS-MTM将移动分解为两种互补的模态：状态（兴趣点类别）和动作（智能体转移）。该模型利用具有自监督掩码建模目标的双向Transformer，重建跨模态的缺失片段，从而在无需手动标签的情况下学习丰富的语义相关性。在Numosim-LA、Urban Anomalies和Geolife等基准数据集上，GPS-MTM在轨迹填充和下一站预测等下游任务上始终优于现有方法。其优势在动态任务（逆向和正向动力学）中最为明显，在这些任务中，上下文推理至关重要。这些结果确立了GPS-MTM作为轨迹分析的强大基石模型，并将移动数据定位为大规模表征学习的一流模态。代码已开源。

🔬 方法详解

问题定义：现有轨迹建模方法，例如直接预测坐标序列，缺乏对轨迹内在语义信息的有效建模，难以捕捉人类移动的常态模式，尤其是在需要上下文推理的动态任务中表现不佳。这些方法通常需要大量人工标注数据，成本高昂。

核心思路：GPS-MTM的核心在于将轨迹分解为状态（兴趣点类别）和动作（智能体转移）两种互补的模态，并利用自监督学习的方式，通过掩码建模重建缺失的轨迹片段，从而学习轨迹的语义表征。这种分解方式更符合人类对移动的认知方式，也更容易捕捉轨迹中的常态模式。

技术框架：GPS-MTM采用双向Transformer架构，输入包括状态序列和动作序列。模型首先对输入进行嵌入，然后通过Transformer编码器进行特征提取。在训练阶段，随机掩盖部分状态或动作，模型的目标是根据上下文信息重建被掩盖的部分。在下游任务中，可以使用学习到的轨迹表征进行预测或分类。

关键创新：GPS-MTM的关键创新在于：1) 将轨迹分解为状态和动作两种模态，更有效地捕捉轨迹的语义信息；2) 采用自监督掩码建模的方式，无需人工标注即可学习轨迹的表征；3) 利用双向Transformer架构，能够更好地捕捉轨迹的上下文信息。

关键设计：GPS-MTM使用标准的Transformer架构，包括多头注意力机制和前馈神经网络。掩码比例是一个重要的超参数，需要根据数据集的特点进行调整。损失函数采用交叉熵损失，用于衡量重建状态和动作的准确性。状态的类别需要预先定义，例如使用兴趣点（POI）的类别。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

GPS-MTM在Numosim-LA、Urban Anomalies和Geolife等基准数据集上进行了评估，并在轨迹填充和下一站预测等任务上取得了显著的性能提升。尤其是在动态任务（逆向和正向动力学）中，GPS-MTM的优势更为明显，表明其能够更好地捕捉轨迹的上下文信息。例如，在某个数据集上，GPS-MTM的下一站预测准确率比现有方法提高了10%以上。

🎯 应用场景

GPS-MTM可应用于多种场景，例如轨迹异常检测、交通流量预测、个性化推荐等。通过学习人类移动的常态模式，可以识别异常行为，预测未来交通状况，并为用户提供个性化的出行建议。该模型还可以用于城市规划和公共服务优化，例如根据人群流动模式优化公交线路。

📄 摘要（原文）

Foundation models have driven remarkable progress in text, vision, and video understanding, and are now poised to unlock similar breakthroughs in trajectory modeling. We introduce the GPSMasked Trajectory Transformer (GPS-MTM), a foundation model for large-scale mobility data that captures patterns of normalcy in human movement. Unlike prior approaches that flatten trajectories into coordinate streams, GPS-MTM decomposes mobility into two complementary modalities: states (point-of-interest categories) and actions (agent transitions). Leveraging a bi-directional Transformer with a self-supervised masked modeling objective, the model reconstructs missing segments across modalities, enabling it to learn rich semantic correlations without manual labels. Across benchmark datasets, including Numosim-LA, Urban Anomalies, and Geolife, GPS-MTM consistently outperforms on downstream tasks such as trajectory infilling and next-stop prediction. Its advantages are most pronounced in dynamic tasks (inverse and forward dynamics), where contextual reasoning is critical. These results establish GPS-MTM as a robust foundation model for trajectory analytics, positioning mobility data as a first-class modality for large-scale representation learning. Code is released for further reference.