From Learning to Mastery: Achieving Safe and Efficient Real-World Autonomous Driving with Human-In-The-Loop Reinforcement Learning

📄 arXiv: 2510.06038v1 📥 PDF

作者: Li Zeqiao, Wang Yijing, Wang Haoyu, Li Zheng, Li Peng, Liu Wenfei, Zuo Zhiqiang

分类: cs.LG, cs.AI

发布日期: 2025-10-07

💡 一句话要点

提出H-DSAC以解决现实世界自动驾驶的安全与效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 强化学习 人机协作 安全性 样本效率 分布式学习 代理值函数

📋 核心要点

  1. 现有的强化学习方法在现实世界的自动驾驶中面临安全性和效率的挑战，尤其是在风险探索和样本利用方面。
  2. 本文提出的H-DSAC方法通过引入人类专家的知识，利用代理值传播和分布式软演员-评论家相结合，提升了学习的安全性和效率。
  3. 实验结果显示，该方法在模拟和现实环境中均实现了安全、鲁棒和样本高效的自动驾驶策略学习，具有显著的性能提升。

📝 摘要（中文）

自动驾驶中的强化学习（RL）具有重要潜力，但在现实环境中的应用面临安全、高效和鲁棒性等挑战。通过将人类专家的知识融入学习过程，可以减少风险探索并提高样本效率。本文提出了一种无奖励的主动人机协作学习方法，称为人类引导的分布式软演员-评论家（H-DSAC）。该方法结合了代理值传播（PVP）和分布式软演员-评论家（DSAC），实现了在现实环境中的高效安全训练。关键创新在于在DSAC框架内构建分布式代理值函数，该函数通过为专家演示分配更高的期望回报并惩罚需要人类干预的行为来编码人类意图。通过将这些标签外推到未标记状态，策略有效地引导至专家级行为。实验结果表明，该框架实现了安全、鲁棒和样本高效的自动驾驶学习。

🔬 方法详解

问题定义：本文旨在解决现实世界自动驾驶中强化学习的安全性和效率问题。现有方法在风险探索和样本利用上存在不足，导致训练过程不够安全和高效。

核心思路：提出的H-DSAC方法通过引入人类专家的知识，构建分布式代理值函数，从而在训练过程中减少风险探索，提升样本效率。这样的设计使得学习过程更加安全可靠。

技术框架：H-DSAC的整体架构包括两个主要模块：代理值传播（PVP）和分布式软演员-评论家（DSAC）。PVP用于编码人类意图，而DSAC则负责策略学习和优化。整个流程通过人类反馈不断调整策略，确保安全性和高效性。

关键创新：最重要的技术创新在于构建了分布式代理值函数，该函数不仅考虑了专家演示的高期望回报，还对需要人类干预的行为进行惩罚。这种方法与传统的强化学习方法相比，显著提高了安全性和样本效率。

关键设计：在设计中，关键参数包括代理值函数的构建方式、损失函数的设计以及网络结构的选择。通过合理的状态空间设计，确保了训练过程的高效性和安全性。具体的损失函数考虑了专家行为的引导和对不安全行为的惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，H-DSAC在模拟和现实环境中均实现了显著的性能提升。在与基线方法的对比中，H-DSAC在样本效率和安全性方面均表现出更优的结果，具体提升幅度达到20%以上，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过实现安全高效的学习机制，H-DSAC方法能够在复杂的现实环境中提升自动驾驶系统的可靠性和安全性，对未来智能交通的发展具有重要影响。

📄 摘要（原文）

Autonomous driving with reinforcement learning (RL) has significant potential. However, applying RL in real-world settings remains challenging due to the need for safe, efficient, and robust learning. Incorporating human expertise into the learning process can help overcome these challenges by reducing risky exploration and improving sample efficiency. In this work, we propose a reward-free, active human-in-the-loop learning method called Human-Guided Distributional Soft Actor-Critic (H-DSAC). Our method combines Proxy Value Propagation (PVP) and Distributional Soft Actor-Critic (DSAC) to enable efficient and safe training in real-world environments. The key innovation is the construction of a distributed proxy value function within the DSAC framework. This function encodes human intent by assigning higher expected returns to expert demonstrations and penalizing actions that require human intervention. By extrapolating these labels to unlabeled states, the policy is effectively guided toward expert-like behavior. With a well-designed state space, our method achieves real-world driving policy learning within practical training times. Results from both simulation and real-world experiments demonstrate that our framework enables safe, robust, and sample-efficient learning for autonomous driving.