Kraken: enabling joint trajectory prediction by utilizing Mode Transformer and Greedy Mode Processing

📄 arXiv: 2312.05144v1 📥 PDF

作者: Daniil S. Antonenko, Stepan Konev, Yuriy Biktairov, Boris Yangel

分类: cs.RO, cs.LG

发布日期: 2023-12-08

💡 一句话要点

Kraken：利用模式Transformer和贪婪模式处理实现联合轨迹预测

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 运动预测 轨迹预测 联合预测 交互建模 自动驾驶

📋 核心要点

  1. 现有运动预测方法在交互场景中表现不足，无法准确建模智能体之间的相互影响。
  2. Kraken通过贪婪模式处理技术将分解预测转化为联合预测，并使用模式Transformer增加轨迹多样性。
  3. Kraken在Waymo运动预测挑战赛中取得了领先成绩，证明了其在交互式运动预测方面的有效性。

📝 摘要（中文）

精确可靠的运动预测对于安全的城市自动驾驶至关重要。目前主流的运动预测方法基于对自动驾驶系统附近每个参与者未来可能轨迹的分布进行建模。这些“独立”的边缘预测在预测目标不太可能与其他参与者交互的普通驾驶情况下可能足够准确。然而，它们不足以建模参与者未来轨迹可能相交的交互式场景。为了缓解这个问题，我们提出了Kraken——一种能够近似参与者之间成对交互并产生准确边缘预测的实时轨迹预测模型。Kraken依赖于一种简单的贪婪模式处理技术，使其能够将一对智能体的分解预测转换为物理上合理的联合预测。它还利用模式Transformer模块来增加预测轨迹的多样性，并使联合预测更具信息量。我们在Waymo运动预测挑战赛中评估了Kraken，在2021年10月，它在交互排行榜中排名第一，在运动排行榜中排名第二。

🔬 方法详解

问题定义：论文旨在解决自动驾驶场景中，尤其是在存在交互行为时，现有运动预测方法无法准确预测多个智能体联合轨迹的问题。现有方法通常独立预测每个智能体的轨迹，忽略了智能体之间的相互影响，导致在交互场景下预测精度显著下降。

核心思路：Kraken的核心思路是将多个智能体的独立预测结果通过贪婪模式处理（Greedy Mode Processing）技术融合为物理上合理的联合预测。此外，利用模式Transformer模块来增加预测轨迹的多样性，从而更好地覆盖各种可能的交互行为。

技术框架：Kraken的整体框架包含以下几个主要模块：1) 独立的轨迹预测器，用于生成每个智能体的多个候选轨迹；2) 模式Transformer模块，用于增加候选轨迹的多样性；3) 贪婪模式处理模块，用于将多个智能体的候选轨迹融合为联合轨迹，并选择最优的联合轨迹；4) 损失函数，用于训练整个模型，使其能够生成准确且合理的联合预测。

关键创新：Kraken的关键创新在于提出了贪婪模式处理技术和模式Transformer模块。贪婪模式处理技术能够有效地将多个智能体的独立预测结果融合为联合预测，并保证联合预测的物理合理性。模式Transformer模块能够增加预测轨迹的多样性，从而更好地覆盖各种可能的交互行为。与现有方法相比，Kraken能够更好地建模智能体之间的交互行为，从而提高在交互场景下的预测精度。

关键设计：贪婪模式处理技术通过迭代地选择每个智能体的最优轨迹，并考虑智能体之间的碰撞和物理约束，最终得到一个物理上合理的联合轨迹。模式Transformer模块采用Transformer架构，通过自注意力机制学习轨迹之间的关系，并生成新的轨迹。损失函数包括轨迹预测损失、碰撞损失和物理合理性损失，用于约束模型的输出。

📊 实验亮点

Kraken在Waymo运动预测挑战赛中取得了显著成果，在交互排行榜中排名第一，在运动排行榜中排名第二。这表明Kraken在建模智能体之间的交互行为方面具有显著优势，能够生成更准确、更可靠的运动预测结果。实验结果证明了Kraken在实际应用中的有效性。

🎯 应用场景

Kraken可应用于自动驾驶、机器人导航等领域，提升系统在复杂交互环境下的决策能力和安全性。通过准确预测其他交通参与者的行为，自动驾驶车辆可以更好地规划行驶路径，避免碰撞，提高交通效率。在机器人导航领域，Kraken可以帮助机器人在拥挤环境中安全地避开行人和其他机器人。

📄 摘要（原文）

Accurate and reliable motion prediction is essential for safe urban autonomy. The most prominent motion prediction approaches are based on modeling the distribution of possible future trajectories of each actor in autonomous system's vicinity. These "independent" marginal predictions might be accurate enough to properly describe casual driving situations where the prediction target is not likely to interact with other actors. They are, however, inadequate for modeling interactive situations where the actors' future trajectories are likely to intersect. To mitigate this issue we propose Kraken -- a real-time trajectory prediction model capable of approximating pairwise interactions between the actors as well as producing accurate marginal predictions. Kraken relies on a simple Greedy Mode Processing technique allowing it to convert a factorized prediction for a pair of agents into a physically-plausible joint prediction. It also utilizes the Mode Transformer module to increase the diversity of predicted trajectories and make the joint prediction more informative. We evaluate Kraken on Waymo Motion Prediction challenge where it held the first place in the Interaction leaderboard and the second place in the Motion leaderboard in October 2021.