BLIP-FusePPO: A Vision-Language Deep Reinforcement Learning Framework for Lane Keeping in Autonomous Vehicles

📄 arXiv: 2510.22370v1 📥 PDF

作者: Seyed Ahmad Hosseini Miangoleh, Amin Jalal Aghdasian, Farzaneh Abdollahi

分类: cs.RO, cs.AI, cs.CV, cs.LG, cs.SE

发布日期: 2025-10-25

备注: https://github.com/Amin-A96/BLIP-FusePPO-A-Vision-Language-Deep-Reinforcement-Learning-Framework-for-Lane-Keeping-in-Autonomous.git

💡 一句话要点

提出BLIP-FusePPO，用于自动驾驶车辆车道保持的多模态强化学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 车道保持 强化学习 多模态融合 视觉-语言模型 PPO 语义理解

📋 核心要点

  1. 现有方法难以有效融合多模态信息，导致自动驾驶车辆在复杂环境下的车道保持性能受限。
  2. BLIP-FusePPO通过融合视觉-语言模型的语义信息、几何状态和控制反馈，增强智能体对环境的理解。
  3. 实验表明，该方法在车道保持的稳定性和适应性方面优于现有方法，尤其是在复杂驾驶场景下。

📝 摘要（中文）

本文提出了一种名为BLIP-FusePPO的新型多模态强化学习（RL）框架，用于自动车道保持（LK）。该框架将视觉-语言模型（VLM）生成的语义嵌入直接与几何状态、激光雷达观测以及基于比例-积分-微分（PID）的控制反馈融合到智能体的观察空间中。该方法结合了来自VLM的高级场景理解与低级控制和空间信号，使智能体能够学习理解周围环境且易于理解的驾驶规则。该架构整合了语义、几何和控制感知表示，从而使策略学习更具鲁棒性。包含语义对齐、LK精度、避障和速度调节的混合奖励函数有助于提高学习效率和泛化能力。该方法不同于仅使用语义模型来塑造奖励的方法，而是直接将语义特征嵌入到状态表示中，从而减少了昂贵的运行时推理，并确保始终提供语义指导。仿真结果表明，所提出的模型在各种困难的驾驶情况下，在LK稳定性和适应性方面优于最佳的基于视觉和多模态RL基线。代码已公开。

🔬 方法详解

问题定义：自动驾驶车辆在复杂交通场景下的车道保持是一个具有挑战性的问题。现有的方法，特别是基于视觉的强化学习方法，往往难以充分利用环境中的语义信息，导致在面对遮挡、光照变化等情况时性能下降。此外，直接使用原始图像进行强化学习训练计算成本高昂，且难以泛化到新的场景。

核心思路：BLIP-FusePPO的核心思路是将视觉-语言模型的语义理解能力融入到强化学习智能体的状态表示中。通过将VLM提取的语义嵌入与几何状态、激光雷达信息和PID控制反馈融合，使智能体能够同时理解场景的语义信息和几何结构，从而做出更明智的决策。这种融合方式旨在提高智能体在复杂环境下的鲁棒性和适应性。

技术框架：BLIP-FusePPO的整体框架包括以下几个主要模块：1) 视觉-语言模型（VLM）：用于提取场景的语义信息，生成语义嵌入。2) 状态表示融合模块：将VLM生成的语义嵌入与几何状态、激光雷达观测和PID控制反馈进行融合，形成智能体的观察空间。3) 强化学习智能体：使用Proximal Policy Optimization (PPO)算法进行训练，根据融合后的状态表示学习车道保持策略。4) 混合奖励函数：综合考虑语义对齐、车道保持精度、避障和速度调节等因素，引导智能体学习期望的行为。

关键创新：该方法最重要的技术创新在于直接将视觉-语言模型的语义特征嵌入到强化学习的状态表示中，而不是仅仅用于塑造奖励函数。这种直接嵌入的方式减少了运行时推理的计算成本，并确保语义指导始终可用。此外，融合多种模态的信息，包括语义、几何和控制信息，使得智能体能够更全面地理解环境。

关键设计：在状态表示融合模块中，具体融合方式未知，论文中未详细说明。奖励函数的设计至关重要，混合奖励函数需要仔细调整各个组成部分的权重，以平衡不同的目标。PPO算法中的超参数，如学习率、折扣因子等，也需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，BLIP-FusePPO在车道保持的稳定性和适应性方面优于现有的基于视觉和多模态强化学习基线。具体性能数据未知，但论文强调该方法在各种困难的驾驶情况下均表现出色，表明其具有良好的泛化能力。代码已公开，方便其他研究者复现和改进。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，例如高速公路自动巡航、城市道路自动驾驶等。通过提高自动驾驶车辆在复杂环境下的车道保持能力，可以显著提升驾驶安全性、舒适性和效率，并为未来的完全自动驾驶系统奠定基础。此外，该方法也可以推广到其他需要多模态信息融合的机器人任务中。

📄 摘要（原文）

In this paper, we propose Bootstrapped Language-Image Pretraining-driven Fused State Representation in Proximal Policy Optimization (BLIP-FusePPO), a novel multimodal reinforcement learning (RL) framework for autonomous lane-keeping (LK), in which semantic embeddings generated by a vision-language model (VLM) are directly fused with geometric states, LiDAR observations, and Proportional-Integral-Derivative-based (PID) control feedback within the agent observation space. The proposed method lets the agent learn driving rules that are aware of their surroundings and easy to understand by combining high-level scene understanding from the VLM with low-level control and spatial signals. Our architecture brings together semantic, geometric, and control-aware representations to make policy learning more robust. A hybrid reward function that includes semantic alignment, LK accuracy, obstacle avoidance, and speed regulation helps learning to be more efficient and generalizable. Our method is different from the approaches that only use semantic models to shape rewards. Instead, it directly embeds semantic features into the state representation. This cuts down on expensive runtime inference and makes sure that semantic guidance is always available. The simulation results show that the proposed model is better at LK stability and adaptability than the best vision-based and multimodal RL baselines in a wide range of difficult driving situations. We make our code publicly available.