CoDriveVLM: VLM-Enhanced Urban Cooperative Dispatching and Motion Planning for Future Autonomous Mobility on Demand Systems

📄 arXiv: 2501.06132v1 📥 PDF

作者: Haichao Liu, Ruoyu Yao, Wenru Liu, Zhenmin Huang, Shaojie Shen, Jun Ma

分类: cs.RO, cs.AI, cs.MA

发布日期: 2025-01-10

🔗 代码/项目: GITHUB

💡 一句话要点

CoDriveVLM：提出VLM增强的城市协同调度与运动规划框架，用于未来按需自动驾驶系统。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 按需自动驾驶 协同调度 运动规划 视觉语言模型 多模态融合

📋 核心要点

  1. 现有AMoD方法侧重车辆调度或路径规划，简化城市布局，忽略CAV间的协同和避让，限制了实际部署。
  2. CoDriveVLM利用VLM增强多模态信息处理，实现全面调度和碰撞风险评估，提升复杂AMoD场景管理能力。
  3. 通过共识ADMM实现可扩展的去中心化协同运动规划，关注碰撞风险评估和去中心化轨迹优化，提升系统鲁棒性。

📝 摘要（中文）

针对传统按需响应式交通(DRT)系统在适应多样化乘客需求和动态城市环境方面的局限性，论文提出了一种名为CoDriveVLM的新框架，用于未来按需自动驾驶(AMoD)系统。该框架集成了高保真的同步调度和协同运动规划。CoDriveVLM利用视觉-语言模型(VLM)来增强多模态信息处理能力，从而实现全面的调度和碰撞风险评估。引入了VLM增强的自动驾驶车辆(CAV)调度协调器，以有效管理复杂和不可预见的AMoD状况，从而支持高效的调度决策。此外，提出了一种可扩展的去中心化协同运动规划方法，通过共识交替方向乘子法(ADMM)关注碰撞风险评估和去中心化轨迹优化。仿真结果表明了CoDriveVLM在各种交通条件下的可行性和鲁棒性，展示了其在未来城市交通网络中显著提高AMoD系统保真度和有效性的潜力。

🔬 方法详解

问题定义：论文旨在解决现有AMoD系统中车辆调度和路径规划相互独立、简化城市环境、忽略车辆间协同避让的问题。现有方法难以应对复杂动态的城市交通环境，导致调度效率低下，存在安全隐患。

核心思路：论文的核心思路是利用视觉-语言模型（VLM）增强AMoD系统的感知和决策能力，实现更智能的车辆调度和更安全的协同运动规划。通过VLM，系统能够更好地理解和处理多模态信息，从而做出更合理的调度决策，并有效评估碰撞风险。

技术框架：CoDriveVLM框架包含两个主要模块：VLM增强的CAV调度协调器和基于共识ADMM的去中心化协同运动规划。首先，VLM增强的调度协调器接收多模态输入（例如，乘客需求、交通状况），利用VLM进行信息融合和理解，生成调度方案。然后，去中心化协同运动规划模块基于共识ADMM算法，在车辆之间进行信息交互，优化各自的行驶轨迹，避免碰撞。

关键创新：该论文的关键创新在于将视觉-语言模型（VLM）引入到AMoD系统中，用于增强车辆调度和运动规划。与传统方法相比，VLM能够处理更丰富的多模态信息，从而提高系统的感知和决策能力。此外，论文提出的基于共识ADMM的去中心化协同运动规划方法具有良好的可扩展性和鲁棒性。

关键设计：VLM的具体选择和训练方式未知。共识ADMM算法的关键在于设计合适的代价函数，以平衡轨迹优化和碰撞避免。具体的参数设置、损失函数、网络结构等技术细节在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，CoDriveVLM在各种交通条件下具有可行性和鲁棒性。具体性能数据、对比基线和提升幅度在摘要中未明确给出，但强调了该方法在提高AMoD系统保真度和有效性方面的潜力。具体实验结果需要在论文正文中查找。

🎯 应用场景

CoDriveVLM可应用于未来的城市自动驾驶出租车、自动驾驶公交等按需出行服务。通过提高调度效率、降低碰撞风险，能够提升城市交通系统的效率和安全性，改善用户出行体验，并减少交通拥堵和环境污染。该研究为构建更智能、更高效、更安全的未来城市交通系统奠定了基础。

📄 摘要（原文）

The increasing demand for flexible and efficient urban transportation solutions has spotlighted the limitations of traditional Demand Responsive Transport (DRT) systems, particularly in accommodating diverse passenger needs and dynamic urban environments. Autonomous Mobility-on-Demand (AMoD) systems have emerged as a promising alternative, leveraging connected and autonomous vehicles (CAVs) to provide responsive and adaptable services. However, existing methods primarily focus on either vehicle scheduling or path planning, which often simplify complex urban layouts and neglect the necessity for simultaneous coordination and mutual avoidance among CAVs. This oversimplification poses significant challenges to the deployment of AMoD systems in real-world scenarios. To address these gaps, we propose CoDriveVLM, a novel framework that integrates high-fidelity simultaneous dispatching and cooperative motion planning for future AMoD systems. Our method harnesses Vision-Language Models (VLMs) to enhance multi-modality information processing, and this enables comprehensive dispatching and collision risk evaluation. The VLM-enhanced CAV dispatching coordinator is introduced to effectively manage complex and unforeseen AMoD conditions, thus supporting efficient scheduling decision-making. Furthermore, we propose a scalable decentralized cooperative motion planning method via consensus alternating direction method of multipliers (ADMM) focusing on collision risk evaluation and decentralized trajectory optimization. Simulation results demonstrate the feasibility and robustness of CoDriveVLM in various traffic conditions, showcasing its potential to significantly improve the fidelity and effectiveness of AMoD systems in future urban transportation networks. The code is available at https://github.com/henryhcliu/CoDriveVLM.git.