TrajGPT: Controlled Synthetic Trajectory Generation Using a Multitask Transformer-Based Spatiotemporal Model
作者: Shang-Ling Hsu, Emmanuel Tung, John Krumm, Cyrus Shahabi, Khurram Shafique
分类: cs.LG
发布日期: 2024-11-07
备注: 10 pages, 3 figures, 32nd ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2024)
💡 一句话要点
TrajGPT：提出一种基于Transformer的多任务时空模型，用于可控的合成轨迹生成。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 轨迹生成 Transformer模型 时空建模 可控生成 下一位置预测
📋 核心要点
- 现有轨迹生成方法难以约束生成序列，无法有效填充轨迹中的空白，且忽略了空间和时间之间的依赖关系。
- TrajGPT借鉴了大型语言模型的思想，将轨迹生成视为文本填充问题，并使用Transformer架构联合建模时空信息。
- 实验结果表明，TrajGPT在可控轨迹生成和下一位置预测任务中均表现出色，时间准确率提升显著。
📝 摘要（中文）
本文提出了一种新的问题，即“可控”的合成轨迹生成，旨在填充部分指定的访问序列中的空白。现有方法无法解决此问题，因为它们缺乏约束生成访问序列的机制，并且通常将空间和时间视为独立的因素，未能处理混合分布以及不同模式与潜在变量（例如，星期几）的相互关系。为此，我们引入了TrajGPT，一个基于Transformer的多任务联合时空生成模型。TrajGPT借鉴大型语言模型，将可控轨迹生成问题转化为自然语言中的文本填充。TrajGPT通过贝叶斯概率模型在Transformer架构中集成了空间和时间模型，确保访问序列中的空白以时空一致的方式填充。在公共和私有数据集上的实验表明，TrajGPT不仅擅长可控的合成访问生成，而且在下一位置预测任务中也优于竞争模型——在保持平均超过98%的空间准确率的同时，时间准确率相对提高了26倍。
🔬 方法详解
问题定义：论文旨在解决“可控的合成轨迹生成”问题，即在部分指定的访问序列中填充空白。现有方法，如下一位置预测或合成轨迹生成，无法有效解决此问题，主要痛点在于缺乏约束生成序列的机制，并且通常将空间和时间视为独立的因素，忽略了它们之间的依赖关系。此外，现有方法在处理时间预测时，难以应对混合分布以及不同模式与潜在变量（如星期几）的相互关系。
核心思路：TrajGPT的核心思路是将可控轨迹生成问题转化为自然语言中的文本填充问题，借鉴大型语言模型的思想。通过这种方式，可以利用Transformer架构强大的序列建模能力，同时对空间和时间信息进行联合建模，从而生成时空一致的轨迹。
技术框架：TrajGPT的整体架构是一个基于Transformer的多任务模型。该模型包含一个Transformer编码器-解码器结构，用于学习轨迹的时空表示。模型通过贝叶斯概率模型集成空间和时间模型，确保生成的轨迹在时空上的一致性。模型同时执行多个任务，包括下一位置预测和轨迹填充。
关键创新：TrajGPT的关键创新在于将轨迹生成问题转化为文本填充问题，并使用Transformer架构进行联合时空建模。这种方法能够有效地捕捉空间和时间之间的依赖关系，并生成时空一致的轨迹。此外，TrajGPT还通过贝叶斯概率模型集成了空间和时间模型，进一步提高了生成轨迹的质量。
关键设计：TrajGPT使用Transformer编码器-解码器结构，其中编码器用于学习输入轨迹的时空表示，解码器用于生成填充的轨迹。模型使用交叉熵损失函数进行训练，同时优化下一位置预测和轨迹填充任务。模型的输入包括位置的one-hot编码和时间戳的嵌入表示。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
TrajGPT在公共和私有数据集上进行了评估，实验结果表明，TrajGPT不仅擅长可控的合成访问生成，而且在下一位置预测任务中也优于竞争模型。具体而言，TrajGPT在保持平均超过98%的空间准确率的同时，时间准确率相对提高了26倍。这一显著的提升表明TrajGPT在时空建模方面的优势。
🎯 应用场景
TrajGPT在城市规划、灾害管理和流行病学等领域具有广泛的应用前景。例如，可以用于模拟人群流动，预测交通拥堵，评估灾害疏散方案，以及研究疾病传播模式。该研究有助于更好地理解人类移动行为，并为相关领域的决策提供支持。
📄 摘要（原文）
Human mobility modeling from GPS-trajectories and synthetic trajectory generation are crucial for various applications, such as urban planning, disaster management and epidemiology. Both of these tasks often require filling gaps in a partially specified sequence of visits - a new problem that we call "controlled" synthetic trajectory generation. Existing methods for next-location prediction or synthetic trajectory generation cannot solve this problem as they lack the mechanisms needed to constrain the generated sequences of visits. Moreover, existing approaches (1) frequently treat space and time as independent factors, an assumption that fails to hold true in real-world scenarios, and (2) suffer from challenges in accuracy of temporal prediction as they fail to deal with mixed distributions and the inter-relationships of different modes with latent variables (e.g., day-of-the-week). These limitations become even more pronounced when the task involves filling gaps within sequences instead of solely predicting the next visit. We introduce TrajGPT, a transformer-based, multi-task, joint spatiotemporal generative model to address these issues. Taking inspiration from large language models, TrajGPT poses the problem of controlled trajectory generation as that of text infilling in natural language. TrajGPT integrates the spatial and temporal models in a transformer architecture through a Bayesian probability model that ensures that the gaps in a visit sequence are filled in a spatiotemporally consistent manner. Our experiments on public and private datasets demonstrate that TrajGPT not only excels in controlled synthetic visit generation but also outperforms competing models in next-location prediction tasks - Relatively, TrajGPT achieves a 26-fold improvement in temporal accuracy while retaining more than 98% of spatial accuracy on average.