Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports

📄 arXiv: 2405.17680v2 📥 PDF

作者: Yi Xu, Yun Fu

分类: cs.CV

发布日期: 2024-05-27 (更新: 2025-02-26)

备注: Accepted by ICLR 2025. Datasets, code, and model weights are available at: https://github.com/colorfulfuture/UniTraj-pytorch

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniTraj统一轨迹生成模型，解决体育运动中多智能体轨迹预测、补全和时空恢复等问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 轨迹预测 轨迹补全 多智能体运动 Transformer 状态空间模型

📋 核心要点

  1. 现有方法专注于单一轨迹任务，缺乏处理轨迹预测、补全和时空恢复等多种任务的通用性。
  2. UniTraj模型通过幽灵空间掩码、双向时间Mamba和双向时间缩放模块，实现统一的轨迹生成。
  3. 在Basketball-U、Football-U和Soccer-U数据集上的实验表明，UniTraj模型性能优于现有方法。

📝 摘要（中文）

理解多智能体的运动在各个领域至关重要。传统方法通常侧重于轨迹预测、轨迹补全或时空恢复等独立任务。考虑到每个任务的独特公式和约束，现有方法大多专为单一任务定制，限制了同时处理多个任务的能力，而这在实际场景中很常见。此外，广泛使用的公共数据集主要关注行人运动，其模式随意且连接松散，个体之间的交互并非总是存在，尤其是在长距离情况下，这使得它们在结构化环境中缺乏代表性。为了克服这些限制，我们提出了一个统一的轨迹生成模型UniTraj，它将任意轨迹作为掩码输入进行处理，适用于体育游戏领域的各种场景。具体来说，我们引入了一个嵌入在Transformer编码器中的幽灵空间掩码（GSM）模块，用于空间特征提取。我们进一步将最近的状态空间模型（SSM），即Mamba模型，扩展为双向时间Mamba（BTM），以更好地捕获时间依赖性。此外，我们还结合了一个双向时间缩放（BTS）模块，以彻底扫描轨迹，同时保留时间缺失关系。此外，我们整理并评估了三个实用的体育数据集，Basketball-U、Football-U和Soccer-U。大量的实验证明了我们模型的优越性能。我们希望我们的工作能够促进对现实世界应用中人类运动的理解，特别是在体育运动中。我们的数据集、代码和模型权重在此处提供：https://github.com/colorfulfuture/UniTraj-pytorch。

🔬 方法详解

问题定义：现有方法通常针对轨迹预测、补全或时空恢复等单一任务进行优化，无法同时处理多个任务。此外，现有数据集主要关注行人运动，缺乏体育运动等结构化环境中多智能体交互的代表性，限制了模型在实际场景中的应用。

核心思路：UniTraj的核心思路是将轨迹生成问题统一建模，通过掩码输入的方式，使模型能够处理不同类型的轨迹任务。通过引入幽灵空间掩码、双向时间Mamba和双向时间缩放模块，增强模型对空间和时间依赖关系的建模能力，从而提高轨迹生成的准确性和鲁棒性。

技术框架：UniTraj模型基于Transformer架构，主要包含以下模块：1) Ghost Spatial Masking (GSM)模块，用于提取空间特征；2) Bidirectional Temporal Mamba (BTM)模块，用于捕获时间依赖关系；3) Bidirectional Temporal Scaled (BTS)模块，用于扫描轨迹并保留时间缺失关系。整个流程是将轨迹数据进行掩码处理后输入Transformer编码器，经过GSM、BTM和BTS模块的处理，最终输出生成的轨迹。

关键创新：UniTraj的关键创新在于：1) 提出了统一的轨迹生成框架，能够处理多种轨迹任务；2) 引入了Ghost Spatial Masking (GSM)模块，增强了对空间特征的提取能力；3) 将Mamba模型扩展为Bidirectional Temporal Mamba (BTM)，更好地捕获了时间依赖关系；4) 提出了Bidirectional Temporal Scaled (BTS)模块，用于处理轨迹中的时间缺失问题。

关键设计：GSM模块的具体实现细节未知，但其目的是提取空间特征。BTM模块是Mamba模型的双向扩展，具体实现细节未知。BTS模块通过缩放时间维度来处理时间缺失问题，具体实现细节未知。损失函数可能包含轨迹预测误差、轨迹补全误差等，具体形式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在三个自建的体育数据集（Basketball-U、Football-U和Soccer-U）上进行了实验，证明了UniTraj模型的优越性能。具体的性能数据和提升幅度在摘要中未提及，但强调了模型在这些数据集上的表现优于现有方法。实验结果表明，UniTraj模型能够有效地处理体育运动中复杂的多智能体交互。

🎯 应用场景

该研究成果可应用于体育赛事分析、运动员训练辅助、智能交通管理、机器人导航等领域。通过准确预测和补全运动轨迹，可以更好地理解运动员的战术意图，优化训练计划，提高交通效率，并增强机器人的自主导航能力。未来，该模型还可扩展到其他多智能体交互场景，如社交机器人、群体行为分析等。

📄 摘要（原文）

Understanding multi-agent movement is critical across various fields. The conventional approaches typically focus on separate tasks such as trajectory prediction, imputation, or spatial-temporal recovery. Considering the unique formulation and constraint of each task, most existing methods are tailored for only one, limiting the ability to handle multiple tasks simultaneously, which is a common requirement in real-world scenarios. Another limitation is that widely used public datasets mainly focus on pedestrian movements with casual, loosely connected patterns, where interactions between individuals are not always present, especially at a long distance, making them less representative of more structured environments. To overcome these limitations, we propose a Unified Trajectory Generation model, UniTraj, that processes arbitrary trajectories as masked inputs, adaptable to diverse scenarios in the domain of sports games. Specifically, we introduce a Ghost Spatial Masking (GSM) module, embedded within a Transformer encoder, for spatial feature extraction. We further extend recent State Space Models (SSMs), known as the Mamba model, into a Bidirectional Temporal Mamba (BTM) to better capture temporal dependencies. Additionally, we incorporate a Bidirectional Temporal Scaled (BTS) module to thoroughly scan trajectories while preserving temporal missing relationships. Furthermore, we curate and benchmark three practical sports datasets, Basketball-U, Football-U, and Soccer-U, for evaluation. Extensive experiments demonstrate the superior performance of our model. We hope that our work can advance the understanding of human movement in real-world applications, particularly in sports. Our datasets, code, and model weights are available here https://github.com/colorfulfuture/UniTraj-pytorch.