CORAL-AUV: CFD Oriented Reinforcement Learning for Autonomous Underwater Vehicles

📄 arXiv: 2607.09557v1 📥 PDF

作者: Steven Roche, Milo Van Mooy, Nathan McGuire, Levi Cai, Jonathan P. How, Yogesh Girdhar

分类: cs.RO

发布日期: 2026-07-10

备注: 16 pages, 13 figures

💡 一句话要点

提出CORAL-AUV以解决自主水下航行器控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主水下航行器 强化学习 计算流体动力学 代理模型 控制策略 领域随机化 能效优化

📋 核心要点

  1. 现有的AUV控制方法劳动强度高，且对环境变化的适应性差，导致控制效果不理想。
  2. 本文提出通过训练CFD模型的代理近似来实现快速推理，从而在RL框架中应用高保真拖曳模型。
  3. 实验结果表明，基于SDM的RL控制器在能耗、速度和误差上均优于使用简化物理模型的控制器。

📝 摘要（中文）

自主水下航行器（AUV）的精细控制和定位对于采样、维护和调查应用至关重要。传统的控制方法劳动强度大，且对车辆配置或环境条件的变化不够鲁棒。强化学习（RL）通过领域随机化（DR）承诺快速开发控制器，但仍受限于底层模拟的物理建模能力。本文利用计算流体动力学（CFD）模型的代理近似，首次在6自由度AUV上成功部署零-shot RL策略，结果显示能耗降低31%，速度提升11%，误差减少19%。

🔬 方法详解

问题定义：本文旨在解决自主水下航行器（AUV）在复杂环境中控制精度不足的问题。现有方法在应对车辆配置和环境变化时表现不佳，导致控制效果不理想。

核心思路：论文提出通过训练计算流体动力学（CFD）模型的代理近似（SDM），以实现快速推理并提高控制器的适应性和鲁棒性。这样的设计使得RL能够在高保真物理模型的基础上进行训练，克服传统方法的局限。

技术框架：整体架构包括数据采集、CFD模型训练、代理近似生成、强化学习训练和控制策略部署等主要模块。首先，通过CFD模拟获取高保真拖曳数据，然后训练SDM，最后在RL框架中进行策略优化。

关键创新：最重要的技术创新在于首次成功在6自由度AUV上应用零-shot RL策略，利用SDM进行训练。这一方法显著提高了控制器的能效和速度，且在多种环境下表现出更好的鲁棒性。

关键设计：在设计中，采用了特定的损失函数以优化SDM的训练效果，并在网络结构上进行了调整，以适应高维状态空间的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于SDM的RL控制器在能耗上降低了31%，在速度上提升了11%，同时误差减少了19%。在使用领域随机化完成任务时，CFD策略是唯一成功转移的控制器，显示出其优越的适应性。

🎯 应用场景

该研究的潜在应用领域包括海洋探测、环境监测和水下维护等。通过提高AUV的控制精度和适应性，能够更有效地完成复杂的水下任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine grain control and positioning of autonomous underwater vehicles (AUVs) is critical for sampling, maintenance, and survey applications. Traditional control methods for AUVs are labor intensive and are not robust to changes in the vehicle configuration or environmental conditions. Reinforcement learning (RL) promises rapid controller development while handling a range of deployment parameters via domain randomization (DR). However, DR is still limited by the capacity of the underlying simulation to model real physics. In particular, drag physics are difficult to model and are a large contributor to sim-to-real gaps. Meanwhile, computational fluid dynamics (CFD) provides high fidelity drag models but is challenging to leverage within reinforcement learning frameworks due to its computational overhead. Thus, in this paper we exploit the idea of training surrogate approximations of CFD models of a given vehicle, enabling fast inference within RL pipelines. We are the first to successfully deploy a zero-shot RL policy on a 6-DOF AUV in which policy training is performed on surrogate drag models (SDMs) trained on CFD data. We find 31% lower energy usage compared to a controller using simplified physics while traversing between waypoints 11% faster with 19% less error. Our SDM based RL controller better predicts zero-shot transfer and is more robust across reward shaping design choices. When using DR to complete a task with perturbed parameters, we find that the CFD policy is the only controller that successfully transfers. The policies are evaluated in a controlled tank environment and in the field providing extensive testing of the policies' capabilities.