A Conflicts-free, Speed-lossless KAN-based Reinforcement Learning Decision System for Interactive Driving in Roundabouts

📄 arXiv: 2408.08242v2 📥 PDF

作者: Zhihao Lin, Zhen Tian, Jianglin Lan, Qi Zhang, Ziyang Ye, Hanyang Zhuang, Xianxian Zhao

分类: cs.RO, cs.AI, cs.LG, eess.SY

发布日期: 2024-08-15 (更新: 2025-09-12)

备注: 14 pages, 11 figures, published in IEEE Transactions on Intelligent Transportation Systems

DOI: 10.1109/TITS.2025.3578279

💡 一句话要点

提出一种基于KAN的无冲突、低速降强化学习决策系统，用于环岛交互式驾驶

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 环岛自动驾驶 强化学习 深度Q学习 Kolmogorov-Arnold网络 动作检查 路径规划 模型预测控制

📋 核心要点

  1. 现有环岛自动驾驶方法在混合交通环境中难以兼顾安全性和效率，尤其是在复杂的多车辆交互场景下。
  2. 该论文提出了一种基于KAN的强化学习决策系统，通过KAN增强环境理解，动作检查器保证安全，路径规划器优化效率。
  3. 实验结果表明，该系统在减少碰撞、缩短行驶时间和保证训练稳定性方面优于现有方法。

📝 摘要（中文）

本文提出了一种基于学习的算法，旨在提升自动驾驶车辆（AVs）在环岛混合交通环境（包含自动驾驶车辆和人类驾驶车辆）中的安全性和效率。该算法利用深度Q学习网络学习复杂多车辆环岛场景中的最优策略，并采用Kolmogorov-Arnold网络（KAN）来增强AVs对环境的理解。为了进一步提高安全性，设计了一个动作检查器来过滤不安全的动作，并使用路径规划器来优化驾驶效率。此外，模型预测控制确保了执行的稳定性和精确性。实验结果表明，所提出的系统始终优于最先进的方法，实现了更少的碰撞、更短的行驶时间和稳定的训练以及平滑的奖励收敛。

🔬 方法详解

问题定义：论文旨在解决环岛混合交通环境中自动驾驶车辆的安全和效率问题。现有方法在处理复杂的多车辆交互场景时，往往难以在安全性和效率之间取得平衡，容易发生碰撞或导致不必要的绕行。此外，现有方法对环境的理解能力有限，难以应对各种交通状况。

核心思路：论文的核心思路是利用强化学习学习最优驾驶策略，并结合Kolmogorov-Arnold Network (KAN) 增强自动驾驶车辆对环境的理解能力。通过动作检查器过滤不安全动作，并使用路径规划器优化行驶效率，从而在保证安全的前提下，尽可能缩短行驶时间。

技术框架：该系统主要包含以下几个模块：1) 深度Q学习网络：用于学习最优驾驶策略。2) Kolmogorov-Arnold Network (KAN)：用于增强自动驾驶车辆对环境的理解。3) 动作检查器：用于过滤不安全的动作。4) 路径规划器：用于优化行驶效率。5) 模型预测控制：用于确保执行的稳定性和精确性。整体流程是，KAN首先对环境进行感知和理解，然后深度Q学习网络根据环境状态选择动作，动作检查器过滤不安全动作，路径规划器优化行驶路径，最后模型预测控制执行动作。

关键创新：该论文的关键创新在于将Kolmogorov-Arnold Network (KAN) 引入到环岛自动驾驶决策系统中，用于增强自动驾驶车辆对环境的理解能力。与传统的神经网络相比，KAN具有更强的函数逼近能力，能够更好地捕捉复杂环境中的非线性关系。此外，动作检查器的设计也提高了系统的安全性。

关键设计：论文中，深度Q学习网络的具体结构未知，但其目标是最大化累积奖励。KAN的具体网络结构和训练方式未知。动作检查器根据预设的安全规则过滤不安全动作，具体的安全规则未知。路径规划器采用A*算法或其他优化算法，目标是找到最短或最快的行驶路径。模型预测控制的具体参数设置未知，但其目标是确保执行的稳定性和精确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的系统在环岛场景中显著优于现有方法。具体而言，该系统能够减少碰撞次数，缩短行驶时间，并实现稳定的训练和奖励收敛。与state-of-the-art方法相比，具体的数据提升幅度未知，但整体性能表现更优。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，尤其是在交通流量大、车辆交互复杂的城市道路环境中，例如环岛、十字路口等。通过提高自动驾驶车辆的安全性和效率，可以减少交通事故，缓解交通拥堵，提高出行效率，促进智能交通的发展。

📄 摘要（原文）

Safety and efficiency are crucial for autonomous driving in roundabouts, especially mixed traffic with both autonomous vehicles (AVs) and human-driven vehicles. This paper presents a learning-based algorithm that promotes safe and efficient driving across varying roundabout traffic conditions. A deep Q-learning network is used to learn optimal strategies in complex multi-vehicle roundabout scenarios, while a Kolmogorov-Arnold Network (KAN) improves the AVs' environmental understanding. To further enhance safety, an action inspector filters unsafe actions, and a route planner optimizes driving efficiency. Moreover, model predictive control ensures stability and precision in execution. Experimental results demonstrate that the proposed system consistently outperforms state-of-the-art methods, achieving fewer collisions, reduced travel time, and stable training with smooth reward convergence.