Model Predictive Simulation Using Structured Graphical Models and Transformers
作者: Xinghua Lou, Meet Dave, Shrinu Kushagra, Miguel Lazaro-Gredilla, Kevin Murphy
分类: cs.LG, cs.CV
发布日期: 2024-06-28
备注: Special Mention at the Waymo Sim Agents Challenge 2024
💡 一句话要点
提出基于Transformer和概率图模型的模型预测模拟方法，提升多智能体交互场景的安全性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 轨迹预测 模型预测控制 概率图模型 Transformer 多智能体系统
📋 核心要点
- 现有轨迹预测方法在多智能体交互场景中，难以保证预测轨迹的安全性，尤其是在避免碰撞方面。
- 利用Transformer进行轨迹预测，并结合概率图模型融入先验知识，通过MAP推断优化轨迹，提升安全性。
- 实验表明，该方法在碰撞率等安全指标上优于基线模型MTR，且无需额外训练，具有良好的通用性。
📝 摘要（中文）
本文提出了一种基于Transformer和概率图模型(PGM)的多智能体(道路使用者)轨迹模拟方法，并将其应用于Waymo SimAgents挑战赛。Transformer基线模型采用MTR模型，该模型基于过去轨迹和静态道路布局特征预测多个未来轨迹。然后，我们使用PGM改进这些生成的轨迹，PGM包含编码先验知识的因子，例如平滑轨迹的偏好，以及避免与静态障碍物和其他移动智能体发生碰撞。我们使用高斯-牛顿法在PGM中执行(近似)最大后验(MAP)推断。最后，我们为每个智能体采样K=32条轨迹，共N≈100个智能体，预测未来T=8Δ时间步长，其中Δ=10是每秒采样率。遵循模型预测控制(MPC)范式，我们仅返回每个步骤预测轨迹的第一个元素，然后重新规划，以便模拟可以不断适应其不断变化的环境。因此，我们将我们的方法称为“模型预测模拟”或MPS。我们表明，MPS改进了MTR基线，尤其是在碰撞率等安全关键指标方面。此外，我们的方法与任何底层预测模型兼容，并且不需要额外的训练，因此我们认为这是对社区的宝贵贡献。
🔬 方法详解
问题定义：论文旨在解决多智能体交互场景下的轨迹预测问题，尤其关注预测轨迹的安全性。现有方法，如纯粹依赖深度学习的轨迹预测模型，在复杂交互场景中难以保证预测轨迹的合理性和安全性，例如容易出现碰撞等问题。
核心思路：论文的核心思路是将深度学习的轨迹预测能力与概率图模型的先验知识表示能力相结合。首先使用Transformer模型（MTR）生成初始轨迹预测，然后利用概率图模型对这些轨迹进行优化，使其更符合物理规律和交通规则，从而提高预测轨迹的安全性。
技术框架：整体框架包含两个主要阶段：1) 基于Transformer的轨迹预测：使用MTR模型，输入过去轨迹和静态道路信息，预测多个未来轨迹。2) 基于概率图模型的轨迹优化：构建一个概率图模型，其中包含编码先验知识的因子，如轨迹平滑性、避免碰撞等。然后，使用高斯-牛顿法在PGM中执行MAP推断，优化Transformer生成的轨迹。最后，采用模型预测控制(MPC)范式，每步只使用预测轨迹的第一个点，然后重新规划。
关键创新：该方法最重要的创新点在于将深度学习的轨迹预测模型与概率图模型相结合，利用PGM对深度学习模型生成的轨迹进行后处理和优化，从而融入先验知识，提高预测轨迹的安全性。与纯粹依赖深度学习的方法相比，该方法能够更好地处理复杂交互场景，避免碰撞等问题。
关键设计：PGM中的因子设计是关键。这些因子包括：1) 轨迹平滑性因子，鼓励预测轨迹平滑；2) 避免与静态障碍物碰撞因子；3) 避免与其他移动智能体碰撞因子。这些因子通过势函数来定义，势函数的值越小，表示轨迹越符合该先验知识。高斯-牛顿法用于近似求解MAP推断问题，找到最优的轨迹。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在Waymo SimAgents挑战赛中，相较于MTR基线模型，在碰撞率等安全关键指标上取得了显著提升。具体而言，该方法能够有效降低预测轨迹的碰撞风险，提高自动驾驶系统的安全性。此外，该方法无需额外训练，具有良好的通用性和可扩展性。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、交通仿真等领域。通过提高多智能体交互场景下轨迹预测的安全性，可以有效降低自动驾驶车辆的事故风险，提升交通系统的效率和安全性。此外，该方法还可以用于评估自动驾驶算法的安全性，为自动驾驶技术的研发和应用提供支持。
📄 摘要（原文）
We propose an approach to simulating trajectories of multiple interacting agents (road users) based on transformers and probabilistic graphical models (PGMs), and apply it to the Waymo SimAgents challenge. The transformer baseline is based on the MTR model, which predicts multiple future trajectories conditioned on the past trajectories and static road layout features. We then improve upon these generated trajectories using a PGM, which contains factors which encode prior knowledge, such as a preference for smooth trajectories, and avoidance of collisions with static obstacles and other moving agents. We perform (approximate) MAP inference in this PGM using the Gauss-Newton method. Finally we sample $K=32$ trajectories for each of the $N \sim 100$ agents for the next $T=8 Δ$ time steps, where $Δ=10$ is the sampling rate per second. Following the Model Predictive Control (MPC) paradigm, we only return the first element of our forecasted trajectories at each step, and then we replan, so that the simulation can constantly adapt to its changing environment. We therefore call our approach "Model Predictive Simulation" or MPS. We show that MPS improves upon the MTR baseline, especially in safety critical metrics such as collision rate. Furthermore, our approach is compatible with any underlying forecasting model, and does not require extra training, so we believe it is a valuable contribution to the community.