Sim-to-Real Transfer of Adaptive Control Parameters for AUV Stabilization under Current Disturbance

📄 arXiv: 2310.11075v1 📥 PDF

作者: Thomas Chaffre, Jonathan Wheare, Andrew Lammas, Paulo Santos, Gilles Le Chenadec, Karl Sammut, Benoit Clement

分类: cs.RO, cs.AI, eess.SY

发布日期: 2023-10-17

💡 一句话要点

提出一种新方法以解决AUV在海流干扰下的自适应控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自适应控制 深度强化学习 自主水下航行器 Sim-to-Real 海流干扰 模型控制 领域随机化

📋 核心要点

  1. 现有自适应控制方法在AUV应用中面临海流干扰的动态未知性和任务非线性等挑战。
  2. 本文提出了一种结合最大熵深度强化学习与经典模型控制架构的自适应控制器，旨在提高AUV的控制性能。
  3. 实验结果显示，该方法在将策略转移到真实车辆时，控制性能比非自适应的最优模型提升了三倍。

📝 摘要（中文）

基于学习的自适应控制方法有望使自主代理在最小人类干预下减少过程变化的影响。然而，由于海流干扰下的未知动态和AUV任务的非线性，现有方法的应用受到限制。深度强化学习（DRL）可以缓解这些限制，但其在AUV上的应用主要局限于模拟环境。本文提出了一种新方法，将最大熵深度强化学习框架与经典模型控制架构相结合，形成自适应控制器。我们引入了一种Sim-to-Real转移策略，包括生物启发的经验重放机制、增强的领域随机化技术和在物理平台上执行的评估协议。实验结果表明，该方法在将控制策略转移到真实车辆时，性能提升了三倍。

🔬 方法详解

问题定义：本文旨在解决自主水下航行器（AUV）在海流干扰下的自适应控制问题。现有方法由于动态未知和任务非线性，导致控制性能不足。

核心思路：论文提出将最大熵深度强化学习与经典模型控制相结合，通过训练通用神经网络策略来应对复杂的动态环境，从而实现自适应控制。

技术框架：整体架构包括三个主要模块：生物启发的经验重放机制、增强的领域随机化技术和在物理平台上的评估协议。这些模块共同支持Sim-to-Real转移策略的实现。

关键创新：最重要的创新在于将深度强化学习与传统控制方法相结合，克服了DRL在真实环境中应用的样本复杂性和分布转移问题。

关键设计：关键设计包括经验重放机制的生物启发特性、领域随机化的增强策略，以及在物理平台上进行的评估协议，以确保学习到的策略在真实环境中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在将控制策略从模拟环境转移到真实AUV时，控制性能提升了三倍，相较于传统的非自适应最优模型，显示出显著的优势。

🎯 应用场景

该研究的潜在应用领域包括海洋探测、环境监测和水下机器人等。通过提高AUV在复杂海流环境中的控制能力，能够显著提升其自主作业的效率和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learning-based adaptive control methods hold the premise of enabling autonomous agents to reduce the effect of process variations with minimal human intervention. However, its application to autonomous underwater vehicles (AUVs) has so far been restricted due to 1) unknown dynamics under the form of sea current disturbance that we can not model properly nor measure due to limited sensor capability and 2) the nonlinearity of AUVs tasks where the controller response at some operating points must be overly conservative in order to satisfy the specification at other operating points. Deep Reinforcement Learning (DRL) can alleviates these limitations by training general-purpose neural network policies, but applications of DRL algorithms to AUVs have been restricted to simulated environments, due to their inherent high sample complexity and distribution shift problem. This paper presents a novel approach, merging the Maximum Entropy Deep Reinforcement Learning framework with a classic model-based control architecture, to formulate an adaptive controller. Within this framework, we introduce a Sim-to-Real transfer strategy comprising the following components: a bio-inspired experience replay mechanism, an enhanced domain randomisation technique, and an evaluation protocol executed on a physical platform. Our experimental assessments demonstrate that this method effectively learns proficient policies from suboptimal simulated models of the AUV, resulting in control performance 3 times higher when transferred to a real-world vehicle, compared to its model-based nonadaptive but optimal counterpart.