Learning Multiple Probabilistic Decisions from Latent World Model in Autonomous Driving

📄 arXiv: 2409.15730v1 📥 PDF

作者: Lingyu Xiao, Jiang-Jiang Liu, Sen Yang, Xiaofan Li, Xiaoqing Ye, Wankou Yang, Jingdong Wang

分类: cs.RO, cs.AI

发布日期: 2024-09-24

🔗 代码/项目: GITHUB

💡 一句话要点

LatentDriver：提出基于隐变量世界模型的概率决策方法，提升自动驾驶性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 世界模型 概率决策 混合分布 不确定性建模

📋 核心要点

  1. 自回归世界模型在向量化场景理解中表现出强大的泛化能力，但由于不确定性建模不足和自欺欺人，难以推导出合适的动作。
  2. LatentDriver通过将环境的未来状态和车辆可能的动作建模为混合分布，并从中推导出确定性的控制信号，从而解决上述问题。
  3. 在Waymax闭环基准测试中，LatentDriver超越了现有强化学习和模仿学习方法，达到了专家级的性能水平，验证了方法的有效性。

📝 摘要（中文）

本文提出了一种名为LatentDriver的框架，旨在解决自回归世界模型在自动驾驶决策中不确定性建模不足和自欺欺人的问题。LatentDriver将环境的未来状态和车辆可能的动作建模为混合分布，并从中推导出确定性的控制信号。通过引入混合建模，捕捉了决策过程中的随机性。此外，通过向世界模型提供从分布中采样的中间动作，缓解了自欺欺人的问题。在Waymax闭环基准测试上的实验结果表明，LatentDriver超越了最先进的强化学习和模仿学习方法，达到了专家级的性能。代码和模型将在https://github.com/Sephirex-X/LatentDriver上公开。

🔬 方法详解

问题定义：现有自回归世界模型在自动驾驶决策中面临两个主要问题：一是缺乏对不确定性的有效建模，导致无法应对复杂多变的交通环境；二是存在“自欺欺人”现象，即模型基于自身预测的错误状态进行决策，从而加剧错误。

核心思路：LatentDriver的核心思路是将环境的未来状态和车辆可能的动作建模为混合分布，从而显式地捕捉决策过程中的不确定性。通过从该混合分布中采样多个可能的未来状态和动作，并将其反馈给世界模型，从而缓解自欺欺人的问题。最终，从混合分布中推导出确定性的控制信号。

技术框架：LatentDriver框架包含以下主要模块：1) 世界模型：用于预测环境的未来状态；2) 混合分布建模：将环境的未来状态和车辆可能的动作建模为混合分布；3) 采样模块：从混合分布中采样多个可能的未来状态和动作；4) 控制信号推导：从混合分布中推导出确定性的控制信号。整个流程是循环迭代的，即采样得到的动作会作为下一步世界模型的输入。

关键创新：LatentDriver的关键创新在于：1) 引入混合分布来建模决策过程中的不确定性，克服了传统自回归世界模型在这方面的不足；2) 通过将采样得到的中间动作反馈给世界模型，缓解了自欺欺人的问题，提高了模型的鲁棒性。与现有方法相比，LatentDriver能够更好地应对复杂多变的交通环境，并做出更合理的决策。

关键设计：混合分布的具体形式未知，论文中可能使用了高斯混合模型或其他合适的分布形式。损失函数的设计可能包括两部分：一是世界模型的预测误差，二是混合分布的拟合程度。网络结构方面，世界模型可能采用Transformer或其他序列模型，混合分布建模模块可能采用神经网络进行参数估计。具体的参数设置和网络结构细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LatentDriver在Waymax闭环基准测试中取得了显著的性能提升，超越了现有的强化学习和模仿学习方法，达到了专家级的性能水平。具体的性能数据（例如成功率、平均速度等）需要在论文中查找。实验结果表明，LatentDriver能够有效地解决自动驾驶决策中的不确定性建模和自欺欺人问题，具有很强的实用价值。

🎯 应用场景

LatentDriver的研究成果可应用于各种自动驾驶场景，例如城市道路自动驾驶、高速公路自动驾驶等。该方法能够提高自动驾驶系统的安全性和可靠性，降低事故发生的风险。此外，该方法还可以应用于机器人导航、游戏AI等领域，具有广泛的应用前景。

📄 摘要（原文）

The autoregressive world model exhibits robust generalization capabilities in vectorized scene understanding but encounters difficulties in deriving actions due to insufficient uncertainty modeling and self-delusion. In this paper, we explore the feasibility of deriving decisions from an autoregressive world model by addressing these challenges through the formulation of multiple probabilistic hypotheses. We propose LatentDriver, a framework models the environment's next states and the ego vehicle's possible actions as a mixture distribution, from which a deterministic control signal is then derived. By incorporating mixture modeling, the stochastic nature of decisionmaking is captured. Additionally, the self-delusion problem is mitigated by providing intermediate actions sampled from a distribution to the world model. Experimental results on the recently released close-loop benchmark Waymax demonstrate that LatentDriver surpasses state-of-the-art reinforcement learning and imitation learning methods, achieving expert-level performance. The code and models will be made available at https://github.com/Sephirex-X/LatentDriver.