TrajFM: A Vehicle Trajectory Foundation Model for Region and Task Transferability

📄 arXiv: 2408.15251v1 📥 PDF

作者: Yan Lin, Tonglong Wei, Zeyu Zhou, Haomin Wen, Jilin Hu, Shengnan Guo, Youfang Lin, Huaiyu Wan

分类: cs.CV, cs.LG

发布日期: 2024-08-09

💡 一句话要点

提出TrajFM车辆轨迹基础模型，实现区域和任务间的迁移学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 车辆轨迹 基础模型 迁移学习 时空建模 轨迹预测

📋 核心要点

  1. 现有轨迹学习模型难以在不同区域和任务间迁移，主要受限于区域空间特征差异和任务生成方案的不同。
  2. TrajFM通过STRFormer处理区域POI布局变化，并利用轨迹掩码和恢复方案统一不同任务的生成过程。
  3. 实验结果表明，TrajFM在区域和任务迁移方面表现出色，无需为新区域或任务重新训练。

📝 摘要（中文）

车辆轨迹蕴含着有价值的移动信息，为各种下游任务和实际应用提供支持。理想的轨迹学习模型应能在不同区域和任务间迁移，无需重新训练，从而在有限的训练数据下提高计算效率和效果。然而，模型跨区域迁移的能力受到各区域独特的空间特征和POI布局的限制，这些特征与车辆移动模式密切相关且难以泛化。此外，由于不同任务需要不同的生成方案，实现任务迁移也具有挑战性。现有的迁移学习方法主要集中于学习轨迹的嵌入向量，但在区域迁移方面表现不佳，并且仍然需要重新训练预测模块才能进行任务迁移。为了解决这些挑战，我们提出了TrajFM，一个在区域和任务迁移方面表现出色的车辆轨迹基础模型。我们引入STRFormer来有效管理不同区域POI布局的变化，并包含一个可学习的时空旋转位置嵌入模块来处理空间特征。此外，我们提出了一种轨迹掩码和恢复方案，将各种任务的生成过程统一为模态和子轨迹的掩码和恢复，使得TrajFM能够预训练一次并迁移到不同的任务，而无需重新训练。在两个真实世界的车辆轨迹数据集上的实验表明了TrajFM的有效性。

🔬 方法详解

问题定义：现有车辆轨迹学习模型在区域和任务迁移方面存在困难。区域迁移受限于不同区域独特的空间特征和POI布局，而任务迁移则由于不同任务需要不同的生成方案而面临挑战。现有的方法，如学习轨迹嵌入向量，在区域迁移上表现不佳，且任务迁移时仍需重新训练预测模块。

核心思路：TrajFM的核心思路是通过STRFormer学习轨迹的时空和POI特征，从而适应不同区域的空间差异。同时，通过轨迹掩码和恢复方案，将不同的下游任务统一到同一个预训练框架下，实现任务迁移。

技术框架：TrajFM主要包含两个核心模块：STRFormer和轨迹掩码与恢复模块。STRFormer负责学习轨迹的时空和POI特征，它接收轨迹的空间、时间和POI信息作为输入，输出轨迹的嵌入表示。轨迹掩码与恢复模块则用于预训练，通过随机掩盖轨迹的部分信息（例如，部分轨迹点、时间戳或POI信息），然后让模型预测被掩盖的信息。

关键创新：TrajFM的关键创新在于其同时实现了区域和任务的迁移能力。STRFormer通过学习时空和POI的联合表示，能够适应不同区域的空间特征差异。轨迹掩码与恢复方案则将不同的下游任务统一到同一个预训练框架下，避免了为每个任务单独训练模型的需求。

关键设计：STRFormer采用了Transformer架构，并引入了可学习的时空旋转位置嵌入模块，以更好地处理空间特征。轨迹掩码与恢复方案采用了多种掩码策略，包括随机掩盖轨迹点、时间戳和POI信息。损失函数采用均方误差（MSE）来衡量预测值与真实值之间的差异。具体参数设置和网络结构细节未在摘要中详细说明，需要参考论文全文。

📊 实验亮点

论文在两个真实世界的车辆轨迹数据集上进行了实验，验证了TrajFM的有效性。具体性能数据和对比基线未在摘要中给出，但强调了TrajFM在区域和任务迁移方面均优于现有方法，能够在有限的训练数据下取得更好的效果。

🎯 应用场景

TrajFM可应用于智能交通系统、城市规划、物流优化、车辆调度等领域。通过预训练的TrajFM，可以快速适应新的区域或任务，降低模型部署成本，提高效率。例如，在新的城市部署自动驾驶系统时，无需大量数据重新训练，只需少量数据进行微调即可。

📄 摘要（原文）

Vehicle trajectories provide valuable movement information that supports various downstream tasks and powers real-world applications. A desirable trajectory learning model should transfer between different regions and tasks without retraining, thus improving computational efficiency and effectiveness with limited training data. However, a model's ability to transfer across regions is limited by the unique spatial features and POI arrangements of each region, which are closely linked to vehicle movement patterns and difficult to generalize. Additionally, achieving task transferability is challenging due to the differing generation schemes required for various tasks. Existing efforts towards transferability primarily involve learning embedding vectors for trajectories, which perform poorly in region transfer and still require retraining of prediction modules for task transfer. To address these challenges, we propose TrajFM, a vehicle trajectory foundation model that excels in both region and task transferability. For region transferability, we introduce STRFormer as the main learnable model within TrajFM. It integrates spatial, temporal, and POI modalities of trajectories to effectively manage variations in POI arrangements across regions and includes a learnable spatio-temporal Rotary position embedding module for handling spatial features. For task transferability, we propose a trajectory masking and recovery scheme. This scheme unifies the generation processes of various tasks into the masking and recovery of modalities and sub-trajectories, allowing TrajFM to be pre-trained once and transferred to different tasks without retraining. Experiments on two real-world vehicle trajectory datasets under various settings demonstrate the effectiveness of TrajFM. Code is available at https://anonymous.4open.science/r/TrajFM-30E4.