Encoding Agent Trajectories as Representations with Sequence Transformers

📄 arXiv: 2410.09204v1 📥 PDF

作者: Athanasios Tsiligkaridis, Nicholas Kalinowski, Zhongheng Li, Elizabeth Hou

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-11

备注: 12 pages, to be presented at GeoAI workshop at ACM SigSpatial 2024

💡 一句话要点

提出STARE模型，利用Transformer编码智能体轨迹，解决时空轨迹表示问题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 轨迹表示学习 Transformer 时空数据 自监督学习 智能体建模

📋 核心要点

  1. 时空轨迹数据与自然语言文本面临相似挑战，如位置顺序、长距离依赖和位置多重含义。
  2. 提出STARE模型，利用Transformer学习轨迹数据的表征和结构，支持监督和自监督学习。
  3. 实验表明，STARE模型能学习有意义的编码，有效支持下游任务，如分类和相似性判断。

📝 摘要（中文）

本文提出了一种新颖的模型，用于将高维时空轨迹表示为离散位置序列，并使用基于Transformer的神经网络架构对其进行编码。类似于语言模型，我们的智能体表征编码序列Transformer（STARE）模型可以通过监督任务（例如，分类）和自监督任务（例如，掩码建模）来学习轨迹数据中的表征和结构。我们在各种合成和真实轨迹数据集上展示了实验结果，表明我们提出的模型可以学习有意义的编码，这些编码对于许多下游任务非常有用，包括区分标签和指示位置之间的相似性。使用这些编码，我们还可以学习时空数据中存在的智能体和位置之间的关系。

🔬 方法详解

问题定义：现有方法在处理高维时空轨迹数据时，难以有效捕捉轨迹中的长距离依赖关系和位置的多重含义，导致表征学习效果不佳。此外，如何利用自监督学习从未标注的轨迹数据中学习有用的表征也是一个挑战。

核心思路：将智能体的轨迹视为离散位置的序列，类比于自然语言处理中的词序列。利用Transformer模型强大的序列建模能力，学习轨迹数据中的上下文关系和结构信息。通过监督和自监督学习，提升轨迹表征的质量。

技术框架：STARE模型的核心是一个基于Transformer的编码器。首先，将原始轨迹数据离散化为一系列位置编码。然后，将这些位置编码输入到Transformer编码器中，学习轨迹的表征。最后，利用学习到的表征进行下游任务，如轨迹分类、相似性度量等。模型支持监督学习（例如，轨迹分类）和自监督学习（例如，掩码位置预测）。

关键创新：将自然语言处理中的Transformer模型应用于时空轨迹数据的表征学习，充分利用了Transformer在序列建模方面的优势。提出了基于掩码位置预测的自监督学习方法，可以从未标注的轨迹数据中学习有用的表征。

关键设计：模型采用标准的Transformer编码器结构，包括多头自注意力机制和前馈神经网络。在自监督学习中，随机掩盖轨迹中的一部分位置，并利用Transformer预测被掩盖的位置。损失函数包括监督学习的交叉熵损失和自监督学习的掩码位置预测损失。具体参数设置（如Transformer层数、注意力头数、嵌入维度等）需要根据具体数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成和真实轨迹数据集上的实验结果表明，STARE模型能够学习到有意义的轨迹编码，并在各种下游任务中表现出色。例如，在轨迹分类任务中，STARE模型能够显著提高分类准确率。此外，STARE模型还能够有效度量轨迹之间的相似性，为轨迹聚类和检索等任务提供支持。

🎯 应用场景

该研究成果可应用于交通流量预测、行人轨迹分析、机器人导航、社交网络分析等领域。通过学习智能体的轨迹表征，可以更好地理解智能体的行为模式，从而实现更精确的预测和更智能的决策。未来可应用于自动驾驶、智慧城市等领域。

📄 摘要（原文）

Spatiotemporal data faces many analogous challenges to natural language text including the ordering of locations (words) in a sequence, long range dependencies between locations, and locations having multiple meanings. In this work, we propose a novel model for representing high dimensional spatiotemporal trajectories as sequences of discrete locations and encoding them with a Transformer-based neural network architecture. Similar to language models, our Sequence Transformer for Agent Representation Encodings (STARE) model can learn representations and structure in trajectory data through both supervisory tasks (e.g., classification), and self-supervisory tasks (e.g., masked modelling). We present experimental results on various synthetic and real trajectory datasets and show that our proposed model can learn meaningful encodings that are useful for many downstream tasks including discriminating between labels and indicating similarity between locations. Using these encodings, we also learn relationships between agents and locations present in spatiotemporal data.