Reinforcement Learning-Based 3D Beam Adaptation for Underwater Wireless Optical Communication with AUVs
作者: Viviana Centritto~Arrojo, Ama Bandara, Sergi Abadal, Evgenii Vinogradov
分类: eess.SP, cs.ET, eess.SY
发布日期: 2026-10-05
备注: 6 pages, in IEEE International Conference on Wireless for Space and Extreme Environments (WiSEE), workshop on Optical Wireless Communications and Sensing in Sea, Air, and Space (OWC-SAS)
💡 一句话要点
提出基于强化学习的3D波束适应方法以解决水下光通信问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 水下无线光通信 深度强化学习 自主水下航行器 波束控制 动态环境 信道模型 海洋流动 通信稳定性
📋 核心要点
- 现有的水下光通信方法在发射器与接收器对准时面临挑战，尤其是在动态环境中，导致连接不稳定。
- 本文提出了一种基于深度强化学习的波束指向优化方法，能够在未知海流条件下自适应调整波束方向。
- 实验结果表明，所提方法在无海流条件下的超额中断率为8.5%，在海流影响下为16.2%，显著提升了通信稳定性。
📝 摘要（中文）
水下无线光通信（UWOC）为自主水下航行器（AUV）提供了重要的高数据传输速率，但由于发射器与接收器的对准问题，可靠连接受到严重影响。本文通过深度强化学习（DRL）框架解决了移动AUV在未知海洋流动下的波束指向问题。我们开发了一个全面的3D UWOC信道模型，考虑了深度依赖的衰减、湍流以及离散光线方法，以准确量化几何和对准损失。结果表明，该方法在无海流条件下将超额中断率限制在8.5%，在海流影响下限制在16.2%。研究结果确认了DRL驱动的波束控制能够在动态水下环境中实现自适应跟踪和减轻连接中断。
🔬 方法详解
问题定义：本文旨在解决水下无线光通信中，由于发射器与接收器的对准不良导致的连接不稳定问题。现有方法在动态环境中难以保持可靠的通信连接，尤其是在海流影响下。
核心思路：论文的核心思路是利用深度强化学习（DRL）框架，实时优化AUV的波束指向和发散角度，以实现持续的信号连接。通过学习策略，优先维护通信链路的稳定性。
技术框架：整体架构包括一个3D UWOC信道模型，结合深度强化学习算法。模型考虑了深度依赖的衰减和湍流，并使用离散光线方法来量化几何和对准损失。主要模块包括环境建模、策略学习和性能评估。
关键创新：最重要的技术创新在于将深度强化学习应用于水下光通信的波束控制，能够在动态环境中自适应调整波束方向，显著改善了连接的可靠性。与传统方法相比，DRL方法能够实时响应环境变化。
关键设计：在设计中，采用了特定的损失函数来优化波束指向，网络结构基于深度学习框架，能够处理复杂的环境输入。此外，参数设置经过精心调整，以确保学习过程的稳定性和收敛性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在无海流条件下的超额中断率仅为8.5%，在海流影响下也仅为16.2%。相较于完美对准的情况，显著降低了因指向错误导致的连接中断，验证了DRL方法在动态水下环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括水下探测、海洋监测和海洋资源勘探等。通过提高水下光通信的可靠性，能够支持更复杂的自主水下系统，推动海洋科学研究和资源开发的进步，具有重要的实际价值和未来影响。
📄 摘要（原文）
Underwater Wireless Optical Communications (UWOC) provide essential high data rates for Autonomous Underwater Vehicles (AUVs), but reliable connectivity is critically affected by transmitter-receiver misalignment. This work addresses the beam pointing problem for a moving AUV subject to unknown ocean currents through a Deep Reinforcement Learning (DRL) framework. We develop a comprehensive 3D UWOC channel model incorporating depth-dependent attenuation, turbulence, and a discrete-ray method to accurately quantify geometric and misalignment losses. The resulting agent jointly optimizes beam steering and divergence angles, learning a policy that prioritizes continuous link maintenance. Evaluated using real oceanographic data, the framework's performance is assessed via the excess outage metric, which isolates outages occurring exclusively due to pointing errors. Relative to perfect alignment between nodes, the proposed method bounds this metric to 8.5% under ocean current-free tracking conditions and limits it to 16.2% when subjected to current-induced drift. The findings obtained in this work confirms that DRL-enabled beam control is capable of adaptive tracking and mitigating link outages in dynamic underwater environments.