TrajMamba: An Efficient and Semantic-rich Vehicle Trajectory Pre-training Model

📄 arXiv: 2510.17545v2 📥 PDF

作者: Yichen Liu, Yan Lin, Shengnan Guo, Zeyu Zhou, Youfang Lin, Huaiyu Wan

分类: cs.LG

发布日期: 2025-10-20 (更新: 2025-10-21)

备注: Accepted by NeurIPS2025

💡 一句话要点

TrajMamba：高效且语义丰富的车辆轨迹预训练模型，解决轨迹数据利用难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车辆轨迹 预训练模型 Mamba架构 知识蒸馏 出行目的感知 轨迹嵌入 序列建模

📋 核心要点

  1. 现有方法难以有效利用轨迹数据中的出行语义，主要挑战在于文本信息的计算负担和轨迹冗余。
  2. TrajMamba通过Traj-Mamba编码器联合建模GPS和道路视角，并采用出行目的感知预训练，实现高效语义学习。
  3. TrajMamba利用知识蒸馏减少轨迹冗余，实验表明其在效率和准确性上均优于现有方法。

📝 摘要（中文）

车辆GPS轨迹记录了车辆随时间的移动，蕴含着有价值的出行语义，包括移动模式和出行目的。有效且高效地学习出行语义对于轨迹数据的实际应用至关重要，但面临两大挑战。首先，出行目的与道路功能和兴趣点（POI）相关联，这些信息编码在文本地址和描述中，给建模带来沉重的计算负担。其次，真实轨迹通常包含冗余点，损害计算效率和轨迹嵌入质量。为了应对这些挑战，我们提出TrajMamba，一种用于高效且语义丰富的车辆轨迹学习的新方法。TrajMamba引入了Traj-Mamba编码器，通过联合建模轨迹的GPS和道路视角来捕获移动模式，从而实现对连续出行行为的鲁棒表示。它还结合了出行目的感知预训练程序，将出行目的整合到学习到的嵌入中，而不会给嵌入计算带来额外的开销。为了减少轨迹中的冗余，TrajMamba采用知识蒸馏预训练方案，通过可学习的掩码生成器识别关键轨迹点，并获得有效的压缩轨迹嵌入。在两个真实世界数据集和三个下游任务上的大量实验表明，TrajMamba在效率和准确性方面均优于最先进的基线方法。

🔬 方法详解

问题定义：现有车辆轨迹学习方法在处理真实世界轨迹数据时面临两个主要问题。一是出行目的与道路和POI的文本描述紧密相关，引入了大量的文本信息处理，导致计算负担过重。二是真实轨迹数据中存在大量冗余点，这些冗余点不仅降低了计算效率，还会影响轨迹嵌入的质量，从而影响下游任务的性能。

核心思路：TrajMamba的核心思路是设计一个高效且能充分利用轨迹语义信息的预训练模型。它通过联合建模GPS和道路视角来捕获移动模式，利用出行目的感知预训练来整合出行目的信息，并采用知识蒸馏来减少轨迹冗余。这种多管齐下的方法旨在提高轨迹学习的效率和准确性。

技术框架：TrajMamba的整体框架包括三个主要组成部分：Traj-Mamba编码器、出行目的感知预训练和知识蒸馏预训练。Traj-Mamba编码器负责从GPS和道路视角提取轨迹的移动模式。出行目的感知预训练将出行目的信息整合到轨迹嵌入中。知识蒸馏预训练则用于减少轨迹冗余，提取关键轨迹点。

关键创新：TrajMamba的关键创新在于其Traj-Mamba编码器，它能够联合建模GPS和道路视角，从而更全面地捕获轨迹的移动模式。此外，出行目的感知预训练和知识蒸馏预训练也是重要的创新点，它们分别解决了出行目的信息整合和轨迹冗余问题。与现有方法相比，TrajMamba能够更高效地学习轨迹的语义信息，并获得更准确的轨迹嵌入。

关键设计：Traj-Mamba编码器采用Mamba架构，专门设计用于序列建模，能够有效地捕获轨迹的动态变化。出行目的感知预训练通过将出行目的信息融入到损失函数中来实现。知识蒸馏预训练使用一个可学习的掩码生成器来识别关键轨迹点，并利用教师-学生模型进行知识迁移。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TrajMamba在两个真实世界数据集上均优于最先进的基线方法。在轨迹预测任务中，TrajMamba的性能提升了显著的百分比（具体数值未知，需查阅论文）。此外，TrajMamba在效率方面也表现出色，其计算速度明显快于其他方法，这使得它更适合处理大规模轨迹数据。

🎯 应用场景

TrajMamba在智慧交通领域具有广泛的应用前景，例如车辆轨迹预测、交通流量分析、路径规划和出行目的推断。通过高效且准确地学习车辆轨迹的语义信息，TrajMamba可以为这些应用提供更可靠的数据支持，从而提高交通效率、改善出行体验并促进城市可持续发展。未来，该模型还可以扩展到其他类型的轨迹数据分析，例如行人轨迹和物流轨迹。

📄 摘要（原文）

Vehicle GPS trajectories record how vehicles move over time, storing valuable travel semantics, including movement patterns and travel purposes. Learning travel semantics effectively and efficiently is crucial for real-world applications of trajectory data, which is hindered by two major challenges. First, travel purposes are tied to the functions of the roads and points-of-interest (POIs) involved in a trip. Such information is encoded in textual addresses and descriptions and introduces heavy computational burden to modeling. Second, real-world trajectories often contain redundant points, which harm both computational efficiency and trajectory embedding quality. To address these challenges, we propose TrajMamba, a novel approach for efficient and semantically rich vehicle trajectory learning. TrajMamba introduces a Traj-Mamba Encoder that captures movement patterns by jointly modeling both GPS and road perspectives of trajectories, enabling robust representations of continuous travel behaviors. It also incorporates a Travel Purpose-aware Pre-training procedure to integrate travel purposes into the learned embeddings without introducing extra overhead to embedding calculation. To reduce redundancy in trajectories, TrajMamba features a Knowledge Distillation Pre-training scheme to identify key trajectory points through a learnable mask generator and obtain effective compressed trajectory embeddings. Extensive experiments on two real-world datasets and three downstream tasks show that TrajMamba outperforms state-of-the-art baselines in both efficiency and accuracy.