Comparison of path following in ships using modern and traditional controllers

📄 arXiv: 2310.14940v1 📥 PDF

作者: Sanjeev Kumar Ramkumar Sudha, Md Shadab Alam, Bindusara Reddy, Abhilash Sharma Somayajula

分类: eess.SY

发布日期: 2023-10-23

备注: Proceedings of the Sixth International Conference in Ocean Engineering (ICOE2023)

💡 一句话要点

提出深度强化学习方法以优化船舶路径跟踪

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 船舶导航 路径跟踪 PD控制器 智能交通 海洋工程

📋 核心要点

  1. 现有船舶导航方法在狭窄水道中容易受到人为决策错误的影响，导致高达85%的海洋事故。
  2. 本文提出使用深度强化学习（DRL）方法，通过近端策略优化（PPO）算法训练代理，优化路径跟踪任务。
  3. 实验结果表明，DRL控制器在路径跟踪任务中表现优于传统PD控制器，且在风的影响下依然有效。

📝 摘要（中文）

船舶在狭窄水道及静态和动态障碍物存在时的导航十分困难，这主要归因于人为决策导致的错误。人工智能方法，尤其是深度强化学习（DRL），能够在路径跟踪和避碰等多目标优化中提供有效解决方案。本文使用近端策略优化（PPO）算法训练DRL代理，并与传统的PD控制器进行比较，验证其在路径跟踪任务中的表现。研究中采用Krisco集装箱船（KCS）进行测试，并通过日本开发的操纵建模组（MMG）模型进行船舶动态的数学模拟，同时考虑风的影响。

🔬 方法详解

问题定义：本文旨在解决船舶在狭窄水道中路径跟踪的挑战，现有方法主要依赖人为决策，导致高事故率。

核心思路：通过深度强化学习（DRL）方法，特别是近端策略优化（PPO）算法，训练一个智能代理来自动化路径跟踪，减少人为干预。

技术框架：研究首先建立了船舶动态的数学模型，使用MMG模型进行仿真。接着，训练DRL代理并调优传统PD控制器的增益，最后进行性能对比。

关键创新：本研究的创新在于将深度强化学习应用于船舶路径跟踪任务，显著提高了控制精度和效率，相较于传统方法具有更低的计算成本。

关键设计：在训练过程中，设置了适当的奖励函数以引导代理学习，同时调节PD控制器的增益以适应不同的环境条件，确保在风的影响下也能保持稳定的路径跟踪。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，深度强化学习控制器在路径跟踪任务中相较于传统PD控制器有显著提升，尤其在风的影响下，DRL控制器表现出更好的稳定性和适应性，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括船舶自动驾驶、海洋运输和水上交通管理等。通过减少人为干预，提升船舶导航的安全性和效率，未来可在智能港口和无人船技术中发挥重要作用。

📄 摘要（原文）

Vessel navigation is difficult in restricted waterways and in the presence of static and dynamic obstacles. This difficulty can be attributed to the high-level decisions taken by humans during these maneuvers, which is evident from the fact that 85% of the reported marine accidents are traced back to human errors. Artificial intelligence-based methods offer us a way to eliminate human intervention in vessel navigation. Newer methods like Deep Reinforcement Learning (DRL) can optimize multiple objectives like path following and collision avoidance at the same time while being computationally cheaper to implement in comparison to traditional approaches. Before addressing the challenge of collision avoidance along with path following, the performance of DRL-based controllers on the path following task alone must be established. Therefore, this study trains a DRL agent using Proximal Policy Optimization (PPO) algorithm and tests it against a traditional PD controller guided by an Integral Line of Sight (ILOS) guidance system. The Krisco Container Ship (KCS) is chosen to test the different controllers. The ship dynamics are mathematically simulated using the Maneuvering Modelling Group (MMG) model developed by the Japanese. The simulation environment is used to train the deep reinforcement learning-based controller and is also used to tune the gains of the traditional PD controller. The effectiveness of the controllers in the presence of wind is also investigated.