LVLM-MPC Collaboration for Autonomous Driving: A Safety-Aware and Task-Scalable Control Architecture

📄 arXiv: 2505.04980v2 📥 PDF

作者: Kazuki Atsuta, Kohei Honda, Hiroyuki Okuda, Tatsuya Suzuki

分类: cs.RO, eess.SY

发布日期: 2025-05-08 (更新: 2025-07-15)

备注: 8 pages, 8 figures

💡 一句话要点

提出LVLM-MPC协同的自动驾驶框架，提升任务可扩展性和安全性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大型视觉语言模型 模型预测控制 任务规划 安全性

📋 核心要点

  1. 现有LVLM在自动驾驶中缺乏安全性保障，其高层决策与底层运动规划的物理可行性脱节。
  2. 该论文提出LVLM与MPC Builder的集成框架，利用MPC Builder按需生成安全可行的底层控制策略。
  3. 仿真实验验证了该框架在高速公路驾驶场景中的有效性，证明了其安全性和灵活性。

📝 摘要（中文）

本文提出了一种新颖的大型视觉语言模型（LVLM）和模型预测控制（MPC）集成框架，旨在为自动驾驶（AD）提供任务可扩展性和安全性。LVLM擅长跨多种驾驶场景进行高层任务规划。然而，由于这些基础模型并非专门为驾驶而设计，并且它们的推理与底层运动规划的可行性不一致，因此在安全性和平稳任务切换方面仍然存在问题。本文将LVLM与MPC Builder集成，后者基于LVLM生成的符号任务命令按需自动生成MPC，同时确保最优性和安全性。生成的MPC可以通过提供关于给定任务可行性的反馈以及生成任务切换感知的MPC来有力地辅助执行或拒绝LVLM驱动的任务切换。我们的方法提供了一个安全、灵活和适应性强的控制框架，弥合了前沿基础模型和可靠车辆操作之间的差距。我们通过仿真实验证明了我们方法的有效性，表明我们的系统可以安全有效地处理高速公路驾驶，同时保持LVLM的灵活性和适应性。

🔬 方法详解

问题定义：现有方法中，直接使用LVLM进行自动驾驶任务规划存在安全隐患。LVLM虽然擅长高层决策，但缺乏对车辆运动学和动力学约束的考虑，可能导致无法执行或不安全的行为。此外，LVLM的任务切换策略可能不够平滑，影响驾驶体验。

核心思路：论文的核心思路是将LVLM的高层任务规划能力与MPC的底层安全控制能力相结合。LVLM负责生成高级别的驾驶指令，而MPC Builder则根据这些指令自动生成满足车辆约束的MPC控制器。通过这种方式，可以确保自动驾驶系统的安全性和可行性。

技术框架：该框架包含LVLM、MPC Builder和车辆控制模块。LVLM接收场景信息，输出符号化的任务指令（例如，变道、超车）。MPC Builder根据这些指令，自动生成相应的MPC控制器，并考虑车辆的运动学和动力学约束。车辆控制模块执行MPC生成的控制指令，实现车辆的运动控制。同时，MPC可以反馈任务可行性给LVLM，辅助LVLM进行决策。

关键创新：该论文的关键创新在于LVLM与MPC Builder的集成。通过MPC Builder自动生成MPC，可以显著降低MPC设计的复杂性，并提高系统的适应性。此外，MPC对任务可行性的反馈机制，可以提高LVLM决策的安全性。

关键设计：MPC Builder的设计是关键。它需要能够根据不同的任务指令，自动生成合适的MPC控制器。这可能涉及到预定义的MPC模板，以及根据任务指令调整MPC参数的策略。此外，MPC的优化目标需要仔细设计，以平衡安全性、舒适性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真实验表明，该系统能够在高速公路场景中安全有效地完成各种驾驶任务，例如车道保持、变道和超车。系统能够根据交通状况灵活调整驾驶策略，并避免碰撞等危险情况。实验结果验证了LVLM-MPC协同框架的有效性和安全性，为自动驾驶技术的发展提供了新的思路。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，例如高速公路自动驾驶、城市道路自动驾驶和泊车辅助系统。通过结合LVLM的感知和决策能力以及MPC的安全控制能力，可以提高自动驾驶系统的智能化水平和安全性，加速自动驾驶技术的商业化落地。此外，该框架也为其他机器人控制任务提供了借鉴，例如无人机控制和机器人操作。

📄 摘要（原文）

This paper proposes a novel Large Vision-Language Model (LVLM) and Model Predictive Control (MPC) integration framework that delivers both task scalability and safety for Autonomous Driving (AD). LVLMs excel at high-level task planning across diverse driving scenarios. However, since these foundation models are not specifically designed for driving and their reasoning is not consistent with the feasibility of low-level motion planning, concerns remain regarding safety and smooth task switching. This paper integrates LVLMs with MPC Builder, which automatically generates MPCs on demand, based on symbolic task commands generated by the LVLM, while ensuring optimality and safety. The generated MPCs can strongly assist the execution or rejection of LVLM-driven task switching by providing feedback on the feasibility of the given tasks and generating task-switching-aware MPCs. Our approach provides a safe, flexible, and adaptable control framework, bridging the gap between cutting-edge foundation models and reliable vehicle operation. We demonstrate the effectiveness of our approach through a simulation experiment, showing that our system can safely and effectively handle highway driving while maintaining the flexibility and adaptability of LVLMs.