Towards Human-Centric Autonomous Driving: A Fast-Slow Architecture Integrating Large Language Model Guidance with Reinforcement Learning
作者: Chengkai Xu, Jiaqi Liu, Yicheng Guo, Yuhang Zhang, Peng Hang, Jian Sun
分类: cs.RO
发布日期: 2025-05-11
💡 一句话要点
提出基于LLM引导与强化学习的快慢架构，实现以人为中心的自动驾驶
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 人机交互 大型语言模型 强化学习 个性化驾驶
📋 核心要点
- 现有自动驾驶方法忽略用户偏好，缺乏与用户的交互和适应性，难以满足个性化需求。
- 提出一种快慢决策框架，利用LLM解析用户指令，RL智能体进行实时控制，实现个性化驾驶。
- 实验表明，该方法降低了碰撞率，并使驾驶行为更符合用户偏好，实现了以人为中心的驾驶模式。
📝 摘要（中文）
本文提出了一种“快慢”决策框架，旨在解决自动驾驶中忽略用户偏好、缺乏交互和适应性的问题。该框架集成了大型语言模型（LLM）进行高层指令解析，以及强化学习（RL）智能体进行低层实时决策。LLM作为“慢”模块，将用户指令转化为结构化指导；RL智能体作为“快”模块，在严格的延迟约束下进行时间敏感的操作。通过解耦高层决策和快速控制，该框架实现了个性化的以人为中心的操作，同时保持了稳健的安全裕度。实验结果表明，与基线算法相比，该架构不仅降低了碰撞率，而且使驾驶行为更符合用户偏好，从而实现了以人为中心的模式。通过在决策层面整合用户指导，并在实时控制中对其进行优化，该框架弥合了个体乘客需求与复杂交通环境中安全可靠驾驶所需严格性之间的差距。
🔬 方法详解
问题定义：现有自动驾驶系统在标准化任务中表现良好，但缺乏对用户个性化偏好的考虑，难以进行有效的人机交互和适应。这导致用户体验不佳，无法满足不同用户的特定需求。因此，需要一种能够理解用户意图并将其融入驾驶决策的自动驾驶系统。
核心思路：本文的核心思路是将高层次的用户指令理解与低层次的实时控制解耦，分别由大型语言模型（LLM）和强化学习（RL）智能体负责。LLM负责将用户指令转化为结构化的驾驶指导，RL智能体则根据这些指导和环境信息，做出实时的驾驶决策。这种“快慢”架构允许系统在理解用户意图的同时，保持快速响应和安全性。
技术框架：该框架包含两个主要模块：LLM指导模块和RL控制模块。LLM指导模块接收用户指令，例如“靠右行驶”或“保持安全距离”，并将其解析为结构化的指导信号，例如目标车道、期望速度等。RL控制模块则根据这些指导信号和传感器数据，使用强化学习算法学习最优的驾驶策略，控制车辆的油门、刹车和方向盘。这两个模块协同工作，实现以人为中心的自动驾驶。
关键创新：该方法最重要的创新点在于将大型语言模型引入自动驾驶决策过程，使其能够理解和利用用户指令。这使得自动驾驶系统能够更好地适应用户的个性化偏好，并提供更自然的人机交互体验。与传统的基于规则或纯数据驱动的方法相比，该方法具有更强的灵活性和可解释性。
关键设计：LLM部分，具体使用的LLM模型未知，但需要具备指令理解和语义解析能力，能够将自然语言指令转化为结构化的驾驶指导信号。RL部分，具体使用的强化学习算法未知，但需要能够处理连续动作空间，并能够在复杂的交通环境中学习到安全有效的驾驶策略。损失函数的设计需要考虑安全性、舒适性和用户偏好，例如可以加入碰撞惩罚项、平滑驾驶奖励项和用户满意度奖励项。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在各种驾驶场景中均表现出色。与基线算法相比，该架构不仅降低了碰撞率，而且使驾驶行为更符合用户偏好。具体性能数据未知，但论文强调了在安全性（碰撞率降低）和用户满意度（驾驶行为更贴合用户偏好）两方面的提升。
🎯 应用场景
该研究成果可应用于各种自动驾驶场景，如出租车、物流配送、私人车辆等。通过理解用户偏好和指令，自动驾驶系统可以提供更个性化、舒适和安全的驾驶体验。未来，该技术有望促进自动驾驶汽车的普及，并改变人们的出行方式。
📄 摘要（原文）
Autonomous driving has made significant strides through data-driven techniques, achieving robust performance in standardized tasks. However, existing methods frequently overlook user-specific preferences, offering limited scope for interaction and adaptation with users. To address these challenges, we propose a "fast-slow" decision-making framework that integrates a Large Language Model (LLM) for high-level instruction parsing with a Reinforcement Learning (RL) agent for low-level real-time decision. In this dual system, the LLM operates as the "slow" module, translating user directives into structured guidance, while the RL agent functions as the "fast" module, making time-critical maneuvers under stringent latency constraints. By decoupling high-level decision making from rapid control, our framework enables personalized user-centric operation while maintaining robust safety margins. Experimental evaluations across various driving scenarios demonstrate the effectiveness of our method. Compared to baseline algorithms, the proposed architecture not only reduces collision rates but also aligns driving behaviors more closely with user preferences, thereby achieving a human-centric mode. By integrating user guidance at the decision level and refining it with real-time control, our framework bridges the gap between individual passenger needs and the rigor required for safe, reliable driving in complex traffic environments.