Autonomous Driving using Residual Sensor Fusion and Deep Reinforcement Learning

📄 arXiv: 2312.16620v1 📥 PDF

作者: Amin Jalal Aghdasian, Amirhossein Heydarian Ardakani, Kianoush Aqabakee, Farzaneh Abdollahi

分类: eess.SY

发布日期: 2023-12-27

备注: Accepted Paper on International Conference on Robotics and Mechatronics (ICROM, 2023)

💡 一句话要点

提出基于残差传感器融合和深度强化学习的自动驾驶方案

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 深度强化学习 传感器融合 残差网络 软演员-评论家算法

📋 核心要点

  1. 现有自动驾驶方法在处理复杂环境和多传感器数据融合方面存在挑战，难以实现最优控制策略。
  2. 该论文提出一种基于残差传感器融合和深度强化学习的自动驾驶方案，利用SAC算法学习最优控制策略。
  3. 实验结果表明，该方法能够有效融合图像和跟踪传感器数据，并优于其他自动驾驶方法。

📝 摘要（中文）

本文提出了一种新颖的方法，通过将传感器融合与深度强化学习相结合，特别是软演员-评论家（SAC）算法，来为自动驾驶汽车开发最优控制策略。我们的系统采用了一种双分支融合方法，用于车辆图像和跟踪传感器数据，利用残差结构和恒等映射的优势来增强智能体训练。通过全面的比较，我们证明了信息融合的有效性，并确立了我们所选算法相对于其他方法的优越性。我们的工作推进了自动驾驶领域，并展示了强化学习在实现智能车辆决策方面的潜力。

🔬 方法详解

问题定义：自动驾驶需要根据车辆图像和跟踪传感器数据做出最优决策，现有方法在多传感器数据融合和复杂环境适应性方面存在不足，难以实现安全高效的自动驾驶。

核心思路：论文的核心思路是将传感器融合与深度强化学习相结合，利用深度强化学习算法学习最优控制策略，并通过残差结构和恒等映射增强智能体训练，从而提高自动驾驶系统的性能和鲁棒性。

技术框架：该系统采用双分支融合方法，分别处理车辆图像和跟踪传感器数据。图像数据通过卷积神经网络提取特征，跟踪传感器数据直接输入到融合层。融合后的特征输入到SAC算法中，SAC算法包括Actor网络和Critic网络，Actor网络负责生成动作，Critic网络负责评估动作的价值。系统通过不断与环境交互，利用SAC算法更新Actor网络和Critic网络的参数，从而学习最优控制策略。

关键创新：该论文的关键创新在于将残差结构和恒等映射引入到传感器融合中，利用残差结构可以有效地学习不同传感器数据之间的互补信息，利用恒等映射可以避免梯度消失问题，从而提高智能体训练的效率和稳定性。此外，选择SAC算法作为强化学习算法，SAC算法具有良好的探索能力和稳定性，能够有效地学习最优控制策略。

关键设计：图像分支采用卷积神经网络提取特征，跟踪传感器数据直接输入到融合层。融合层采用残差结构和恒等映射。SAC算法的Actor网络和Critic网络都采用深度神经网络。损失函数包括Actor网络的策略损失和Critic网络的价值损失。训练过程中，采用经验回放和目标网络等技术来提高训练的稳定性和效率。

📊 实验亮点

实验结果表明，该方法能够有效融合车辆图像和跟踪传感器数据，并显著提高自动驾驶系统的性能。与传统方法相比，该方法在模拟环境中实现了更高的驾驶成功率和更低的碰撞率。具体性能数据未知，但论文强调了信息融合的有效性和SAC算法的优越性。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，例如城市道路自动驾驶、高速公路自动驾驶和泊车辅助系统。该方法能够提高自动驾驶系统的安全性、效率和舒适性，具有广阔的应用前景。未来，该方法还可以扩展到其他机器人领域，例如无人机和自动驾驶船只。

📄 摘要（原文）

This paper proposes a novel approach by integrating sensor fusion with deep reinforcement learning, specifically the Soft Actor-Critic (SAC) algorithm, to develop an optimal control policy for self-driving cars. Our system employs a two-branch fusion method for vehicle image and tracking sensor data, leveraging the strengths of residual structures and identity mapping to enhance agent training. Through comprehensive comparisons, we demonstrate the efficacy of information fusion and establish the superiority of our selected algorithm over alternative approaches. Our work advances the field of autonomous driving and demonstrates the potential of reinforcement learning in enabling intelligent vehicle decision-making.