Trajectory Imputation in Multi-Agent Sports with Derivative-Accumulating Self-Ensemble

📄 arXiv: 2408.10878v4 📥 PDF

作者: Han-Jun Choi, Hyunsung Kim, Minho Lee, Minchul Jeong, Chang-Jo Kim, Jinsung Yoon, Sang-Ki Ko

分类: cs.AI, cs.LG, cs.MA

发布日期: 2024-08-20 (更新: 2025-07-15)

备注: Accepted at ECML/PKDD 2025

💡 一句话要点

提出MIDAS，利用导数累积自集成方法解决多智能体运动轨迹插补问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 轨迹插补 多智能体系统 运动分析 Set Transformer 导数累积

📋 核心要点

  1. 多智能体运动轨迹数据常因各种因素缺失，现有时空数据插补方法难以适应运动场景中智能体高度动态和持续演变的交互。
  2. MIDAS框架通过Set Transformer联合预测位置、速度和加速度，并递归累积导数生成替代估计，再通过可学习加权集成得到最终插补轨迹。
  3. 实验表明，MIDAS在位置精度和物理合理性上显著优于现有方法，并展示了其在计算总距离和传球成功率等下游任务中的应用。

📝 摘要（中文）

本文提出了一种名为MIDAS（Multi-agent Imputer with Derivative-Accumulating Self-ensemble）的框架，旨在高精度和物理合理性地插补多智能体轨迹。针对团队运动等场景中多智能体轨迹数据缺失问题，该方法通过基于Set Transformer的神经网络联合预测位置、速度和加速度，并通过递归累积预测的速度和加速度值生成替代估计。然后，使用可学习的加权集成来组合这些预测，从而生成最终的插补轨迹。在三个体育数据集上的实验表明，MIDAS在位置精度和物理合理性方面均显著优于现有基线。最后，展示了MIDAS的应用案例，例如近似总距离和传球成功概率，以突出其在需要完整跟踪数据的实际下游任务中的适用性。

🔬 方法详解

问题定义：论文旨在解决多智能体运动场景中轨迹数据缺失的问题。现有方法，尤其是针对通用时空数据的插补方法，无法很好地处理运动场景中智能体之间高度动态的交互关系，以及运动轨迹的物理合理性约束（例如速度和加速度的连续性）。这些方法通常无法保证插补轨迹的平滑性和物理可行性，导致下游任务的性能下降。

核心思路：论文的核心思路是利用导数信息（速度和加速度）来约束轨迹插补过程，并采用自集成的方式提高插补的鲁棒性。通过联合预测位置、速度和加速度，并利用预测的速度和加速度递归地生成多个可能的轨迹估计，从而在插补过程中显式地考虑了运动的物理规律。然后，通过学习一个加权集成模型，将这些不同的轨迹估计进行融合，从而得到更准确和鲁棒的插补结果。

技术框架：MIDAS框架主要包含以下几个模块：1) 基于Set Transformer的编码器：用于提取多智能体轨迹数据的时空特征和智能体之间的交互信息。2) 联合预测模块：使用多层感知机（MLP）同时预测缺失轨迹的位置、速度和加速度。3) 导数累积模块：利用预测的速度和加速度，通过递归累积的方式生成多个替代的轨迹估计。4) 加权集成模块：学习一个加权模型，将不同的轨迹估计进行融合，得到最终的插补轨迹。

关键创新：MIDAS的关键创新在于：1) 联合预测位置、速度和加速度，从而在插补过程中显式地考虑了运动的物理规律。2) 采用导数累积的方式生成多个替代的轨迹估计，从而提高了插补的鲁棒性。3) 使用可学习的加权集成模型，自适应地融合不同的轨迹估计，从而提高了插补的精度。与现有方法相比，MIDAS更关注运动轨迹的物理合理性和智能体之间的交互关系。

关键设计：Set Transformer的输入是所有智能体的历史轨迹数据，输出是每个智能体的特征向量。联合预测模块使用三个独立的MLP分别预测位置、速度和加速度。导数累积模块使用以下公式递归地更新位置：position(t+1) = position(t) + velocity(t) + 0.5 * acceleration(t)。加权集成模块使用一个MLP来学习每个轨迹估计的权重，损失函数包括位置预测误差、速度预测误差和加速度预测误差，以及一个正则化项，用于约束权重的分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIDAS在三个体育数据集上均显著优于现有基线方法。在位置精度方面，MIDAS的平均绝对误差（MAE）比最佳基线降低了10%以上。在物理合理性方面，MIDAS生成的轨迹更加平滑，速度和加速度的变化更加连续。此外，MIDAS在计算总距离和传球成功率等下游任务中也取得了更好的性能。

🎯 应用场景

该研究成果可广泛应用于需要完整多智能体轨迹数据的场景，例如体育赛事分析、自动驾驶、机器人导航、人群行为分析等。通过提供更准确和可靠的轨迹插补，MIDAS可以提高下游任务的性能，例如运动策略分析、路径规划、异常行为检测等。未来，该方法可以进一步扩展到处理更复杂的运动场景，例如具有遮挡或噪声的数据。

📄 摘要（原文）

Multi-agent trajectory data collected from domains such as team sports often suffer from missing values due to various factors. While many imputation methods have been proposed for spatiotemporal data, they are not well-suited for multi-agent sports scenarios where player movements are highly dynamic and inter-agent interactions continuously evolve. To address these challenges, we propose MIDAS (Multi-agent Imputer with Derivative-Accumulating Self-ensemble), a framework that imputes multi-agent trajectories with high accuracy and physical plausibility. It jointly predicts positions, velocities, and accelerations through a Set Transformer-based neural network and generates alternative estimates by recursively accumulating predicted velocity and acceleration values. These predictions are then combined using a learnable weighted ensemble to produce final imputed trajectories. Experiments on three sports datasets demonstrate that MIDAS significantly outperforms existing baselines in both positional accuracy and physical plausibility. Lastly, we showcase use cases of MIDAS, such as approximating total distance and pass success probability, to highlight its applicability to practical downstream tasks that require complete tracking data.