OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving

📄 arXiv: 2409.03272v1 📥 PDF

作者: Julong Wei, Shanshuai Yuan, Pengfei Li, Qingda Hu, Zhongxue Gan, Wenchao Ding

分类: cs.CV, cs.RO

发布日期: 2024-09-05

💡 一句话要点

OccLLaMA：面向自动驾驶的Occupancy-Language-Action生成式世界模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 世界模型 多模态学习 Occupancy预测 运动规划

📋 核心要点

  1. 现有基于MLLM的自动驾驶方法忽略了世界动态和动作与动态的关系，导致规划能力不足。
  2. OccLLaMA提出了一种生成式世界模型，使用语义Occupancy作为视觉表示，并统一了视觉、语言和动作模态。
  3. 实验表明，OccLLaMA在4D Occupancy预测、运动规划和视觉问答等任务上表现出色，验证了其有效性。

📝 摘要（中文）

多模态大型语言模型（MLLM）的兴起推动了其在自动驾驶领域的应用。然而，现有的基于MLLM的方法通常通过学习从感知到动作的直接映射来执行动作，忽略了世界的动态以及动作与世界动态之间的关系。为了解决这个问题，我们提出了OccLLaMA，一个Occupancy-Language-Action生成式世界模型。该模型使用语义Occupancy作为通用的视觉表示，并通过自回归模型统一视觉-语言-动作（VLA）模态。具体来说，我们引入了一种新颖的类VQVAE的场景Tokenize器，以有效地离散化和重建语义Occupancy场景，同时考虑其稀疏性和类别不平衡。然后，我们为视觉、语言和动作构建了一个统一的多模态词汇表。此外，我们增强了LLM（特别是LLaMA），使其能够在统一的词汇表上执行下一个Token/场景预测，从而完成自动驾驶中的多项任务。大量的实验表明，OccLLaMA在包括4D Occupancy预测、运动规划和视觉问答在内的多项任务中取得了具有竞争力的性能，展示了其作为自动驾驶领域基础模型的潜力。

🔬 方法详解

问题定义：现有基于多模态大语言模型（MLLM）的自动驾驶方法，通常直接将感知信息映射到动作，缺乏对环境动态的建模，忽略了动作与环境变化之间的关系。这种方式难以进行有效的长期规划和复杂决策，尤其是在动态变化的环境中。现有方法的痛点在于缺乏对未来状态的预测和推理能力，无法像人类一样基于对世界的理解进行决策。

核心思路：OccLLaMA的核心思路是构建一个生成式的世界模型，该模型能够理解和预测环境的动态变化，并基于此进行动作规划。通过将视觉、语言和动作信息统一到一个框架中，OccLLaMA能够学习动作对环境的影响，并预测未来的环境状态。这种方式使得模型能够进行更有效的长期规划和决策。

技术框架：OccLLaMA的整体框架包含以下几个主要模块：1) 语义Occupancy表示：使用语义Occupancy作为环境的通用视觉表示。2) 场景Tokenize器：采用类VQVAE的结构，将语义Occupancy场景离散化为Token序列。3) 多模态词汇表：构建统一的视觉、语言和动作词汇表。4) 增强的LLM：使用LLaMA作为基础模型，并对其进行增强，使其能够预测下一个Token/场景。

关键创新：OccLLaMA的关键创新在于：1) 提出了一个Occupancy-Language-Action生成式世界模型，将视觉、语言和动作统一到一个框架中。2) 引入了一种新颖的类VQVAE的场景Tokenize器，能够有效地处理语义Occupancy的稀疏性和类别不平衡问题。3) 构建了一个统一的多模态词汇表，使得LLM能够同时处理视觉、语言和动作信息。

关键设计：在场景Tokenize器中，采用了VQVAE的结构，并针对语义Occupancy的特点进行了优化，例如，考虑了场景的稀疏性和类别不平衡问题。在多模态词汇表中，将视觉、语言和动作信息映射到统一的Token空间。在LLM的训练过程中，采用了自回归的方式，使得模型能够预测下一个Token/场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OccLLaMA在4D Occupancy预测、运动规划和视觉问答等任务中取得了具有竞争力的性能。例如，在4D Occupancy预测任务中，OccLLaMA能够准确地预测未来场景的变化。在运动规划任务中，OccLLaMA能够生成安全和高效的行驶轨迹。这些结果表明，OccLLaMA具有作为自动驾驶领域基础模型的潜力。

🎯 应用场景

OccLLaMA作为自动驾驶领域的基础模型，具有广泛的应用前景。它可以应用于运动规划、决策制定、场景理解和预测等多个方面。通过学习环境的动态变化，OccLLaMA能够提高自动驾驶系统的安全性和可靠性，并使其能够更好地适应复杂和动态的交通环境。未来，该模型还可以扩展到其他机器人领域，例如家庭服务机器人和工业机器人。

📄 摘要（原文）

The rise of multi-modal large language models(MLLMs) has spurred their applications in autonomous driving. Recent MLLM-based methods perform action by learning a direct mapping from perception to action, neglecting the dynamics of the world and the relations between action and world dynamics. In contrast, human beings possess world model that enables them to simulate the future states based on 3D internal visual representation and plan actions accordingly. To this end, we propose OccLLaMA, an occupancy-language-action generative world model, which uses semantic occupancy as a general visual representation and unifies vision-language-action(VLA) modalities through an autoregressive model. Specifically, we introduce a novel VQVAE-like scene tokenizer to efficiently discretize and reconstruct semantic occupancy scenes, considering its sparsity and classes imbalance. Then, we build a unified multi-modal vocabulary for vision, language and action. Furthermore, we enhance LLM, specifically LLaMA, to perform the next token/scene prediction on the unified vocabulary to complete multiple tasks in autonomous driving. Extensive experiments demonstrate that OccLLaMA achieves competitive performance across multiple tasks, including 4D occupancy forecasting, motion planning, and visual question answering, showcasing its potential as a foundation model in autonomous driving.