AquaOrbit: Sim-to-Real Reinforcement Learning for Underwater Target Orbiting under Intermittent Visual Feedback

📄 arXiv: 2609.24054v1 📥 PDF

作者: Kanzhong Yao, Jinyi Leng, Hao Zhang, Zhe Sun, Xuelong Li

分类: cs.RO

发布日期: 2026-09-21

备注: This work has been submitted to IEEE for possible publication

💡 一句话要点

提出AquaOrbit以解决水下目标轨道控制中的视觉反馈中断问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 水下机器人 强化学习 视觉反馈 目标追踪 动态环境 控制系统 深度学习

📋 核心要点

  1. 现有方法在水下目标轨道控制中面临视觉反馈间歇性丧失的问题，导致运动协调性差和目标重新获取困难。
  2. 本文提出的AquaOrbit控制器结合了恢复模块，能够在视觉丧失情况下利用其他传感器信息维持稳定性并重新获取目标。
  3. 实验结果显示，AquaOrbit在不同物理引擎和感知扰动下均表现出色，尤其在移动目标条件下显著降低了视线误差。

📝 摘要（中文）

在水下轨道控制中，间歇性的视觉丧失会干扰目标相对反馈，导致协调运动困难和目标重新获取的挑战。本文提出了AquaOrbit，一个具有恢复模块的强化学习控制器，旨在应对视觉反馈中断的情况。在检测丧失期间，恢复模块利用锁定的视线、滚转和深度参考来支持稳定性和目标重新获取。通过在Isaac Sim中进行训练，并在Gazebo/ROS2中进行评估，AquaOrbit在静态和移动目标条件下均成功完成20次轨道试验，并在移动目标条件下将平均视线误差降低约46%。

🔬 方法详解

问题定义：本文旨在解决水下目标轨道控制中由于视觉反馈间歇性丧失而导致的运动协调性差和目标重新获取困难的问题。现有方法在视觉丧失情况下无法有效维持稳定性，影响任务完成。

核心思路：AquaOrbit控制器通过引入恢复模块，在视觉丧失期间利用锁定的视线、滚转和深度参考信息来支持稳定性和目标重新获取。这种设计使得控制器在视觉反馈中断时仍能保持较高的性能。

技术框架：AquaOrbit的整体架构包括强化学习控制器和恢复模块。控制器在Isaac Sim中进行训练，采用动态、观察和视觉丧失随机化的策略。恢复模块在视觉丧失时激活，确保机器人能够稳定并重新获取目标。

关键创新：AquaOrbit的主要创新在于其恢复模块的设计，使得控制器能够在视觉反馈中断的情况下依然保持稳定性和高效的目标重新获取能力。这与传统的PID控制器形成鲜明对比，后者在视觉丧失时表现较差。

关键设计：在训练过程中，AquaOrbit采用了多种参数设置和损失函数，以优化控制器的性能。网络结构方面，控制器结合了深度学习技术，确保在不同环境下的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AquaOrbit在静态和移动目标条件下均成功完成20次轨道试验。在移动目标条件下，AquaOrbit将平均视线误差降低约46%，并在没有恢复模块的情况下，完成率降至9/20，显示出恢复模块的重要性。

🎯 应用场景

AquaOrbit的研究成果在水下机器人、无人潜水器和海洋探测等领域具有广泛的应用潜力。其能够在视觉反馈不稳定的情况下保持稳定性和目标追踪能力，极大地提升了水下任务的执行效率和安全性。未来，该技术可能会推动水下自动化和智能化的发展。

📄 摘要（原文）

Intermittent visual loss disrupts target-relative feedback during underwater orbiting, making it difficult to maintain coordinated motion and reacquire a moving target. We present AquaOrbit, a reinforcement-learning controller with a recovery module for underwater target orbiting under interrupted visual feedback. During detection loss, the recovery module uses latched line-of-sight, roll, and depth references to support stabilization and target reacquisition. We train the controller in Isaac Sim with dynamics, observation, and vision-loss randomization. Evaluated without retraining in Gazebo/ROS2 under a different physics engine and perception perturbations, AquaOrbit completes 20/20 orbiting trials in each of the static- and moving-target conditions on an unseen variable-depth 3-D trajectory. In the moving-target condition, it reduces mean line-of-sight error by approximately 46% relative to a PID-based visual servoing controller with recovery while maintaining comparable path-tracking accuracy; removing the recovery module reduces completion to 9/20. Zero-shot physical deployment with fully onboard perception and control demonstrates elliptical, figure-eight, and variable-depth circular trajectories, including the latter two trajectory types absent from training. The robot maintains attitude stability during manual occlusions lasting up to 8s and reacquires the target within 2.5s in the reported attitude-induced field-of-view loss events.