Evaluating Robustness of Deep Reinforcement Learning for Autonomous Surface Vehicle Control in Field Tests

📄 arXiv: 2505.10033v2 📥 PDF

作者: Luis F. W. Batista, Stéphanie Aravecchia, Seth Hutchinson, Cédric Pradalier

分类: cs.RO, cs.LG

发布日期: 2025-05-15 (更新: 2025-06-05)

备注: Presented at the 2025 IEEE ICRA Workshop on Field Robotics

💡 一句话要点

评估深度强化学习在自主水面船只控制中应对真实扰动的鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 自主水面船只 领域随机化 鲁棒性 水面机器人

📋 核心要点

  1. 现有基于DRL的ASV控制方法在真实环境扰动下的鲁棒性不足，限制了实际应用。
  2. 采用领域随机化训练DRL智能体，使其能够适应各种扰动，提高泛化能力。
  3. 通过仿真和真实环境实验，验证了该方法在非对称阻力和偏离中心载荷等扰动下的有效性。

📝 摘要（中文）

尽管深度强化学习（DRL）在自主水面船只（ASV）领域取得了显著进展，但其在真实环境下的鲁棒性，尤其是在外部扰动下的表现，仍未得到充分探索。本文评估了一个基于DRL的智能体在各种扰动下捕获漂浮垃圾的鲁棒性。我们使用领域随机化训练智能体，并在真实环境中评估其性能，评估其处理非对称阻力和偏离中心有效载荷等意外扰动的能力。我们在仿真和真实实验中评估了智能体在这些扰动下的性能，量化了性能下降，并将其与MPC基线进行比较。结果表明，DRL智能体在显著扰动下表现可靠。除了开源我们的实现之外，我们还提供了关于有效训练策略、真实世界挑战以及部署基于DRL的ASV控制器的实际考虑因素的见解。

🔬 方法详解

问题定义：论文旨在解决自主水面船只（ASV）在真实环境中，受到各种外部扰动（如非对称阻力、偏离中心的有效载荷等）时，如何保持控制策略的鲁棒性问题。现有方法，特别是基于深度强化学习（DRL）的方法，虽然在理想环境下表现良好，但在实际应用中，由于环境的复杂性和不确定性，其性能会显著下降。因此，如何提高DRL控制策略在真实环境中的泛化能力和鲁棒性是本研究的核心问题。

核心思路：论文的核心解决思路是利用领域随机化（Domain Randomization）技术来训练DRL智能体。领域随机化的思想是在训练过程中，对环境的各种参数（如阻力系数、载荷位置等）进行随机变化，从而使智能体能够接触到各种不同的环境状态。通过这种方式，智能体可以学习到一种对环境变化不敏感的控制策略，从而提高其在真实环境中的鲁棒性。

技术框架：整体框架包括以下几个主要部分：1) 环境建模：建立ASV的动力学模型，并考虑各种可能的扰动因素；2) DRL智能体设计：选择合适的DRL算法（论文中未明确指出具体算法，但暗示使用了某种Actor-Critic方法），并设计相应的网络结构；3) 领域随机化：在训练过程中，对环境参数进行随机变化；4) 仿真训练：在仿真环境中训练DRL智能体；5) 真实环境测试：将训练好的智能体部署到真实的ASV上进行测试，评估其性能。

关键创新：论文的关键创新在于将领域随机化技术应用于ASV的DRL控制中，并验证了其在真实环境中的有效性。与传统的DRL方法相比，该方法能够显著提高智能体在真实环境中的鲁棒性，使其能够适应各种未知的扰动。此外，论文还提供了关于有效训练策略、真实世界挑战以及部署基于DRL的ASV控制器的实际考虑因素的见解。

关键设计：论文中没有详细描述具体的参数设置、损失函数和网络结构。但是，可以推断出一些关键的设计考虑：1) 扰动参数的随机化范围：需要仔细选择扰动参数的随机化范围，以确保智能体能够接触到足够多的环境状态，但又不会过于偏离真实环境；2) 奖励函数设计：需要设计一个合适的奖励函数，以引导智能体学习到期望的控制策略；3) 网络结构设计：需要选择合适的网络结构，以提取环境状态的特征，并输出控制指令。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过领域随机化训练的DRL智能体在真实环境中表现出良好的鲁棒性，能够有效地应对非对称阻力和偏离中心载荷等扰动。与MPC基线相比，DRL智能体在某些情况下表现出更好的性能。论文还量化了在不同扰动下DRL智能体的性能下降程度，为实际应用提供了参考。

🎯 应用场景

该研究成果可应用于各种自主水面船只的控制任务，例如水面垃圾清理、环境监测、水文调查等。通过提高ASV在复杂环境中的鲁棒性，可以降低人工干预的需求，提高工作效率，并降低运营成本。此外，该研究的思路也可以推广到其他机器人控制领域，例如无人机、无人车等。

📄 摘要（原文）

Despite significant advancements in Deep Reinforcement Learning (DRL) for Autonomous Surface Vehicles (ASVs), their robustness in real-world conditions, particularly under external disturbances, remains insufficiently explored. In this paper, we evaluate the resilience of a DRL-based agent designed to capture floating waste under various perturbations. We train the agent using domain randomization and evaluate its performance in real-world field tests, assessing its ability to handle unexpected disturbances such as asymmetric drag and an off-center payload. We assess the agent's performance under these perturbations in both simulation and real-world experiments, quantifying performance degradation and benchmarking it against an MPC baseline. Results indicate that the DRL agent performs reliably despite significant disturbances. Along with the open-source release of our implementation, we provide insights into effective training strategies, real-world challenges, and practical considerations for deploying DRLbased ASV controllers.