Reinforcement Learning for Rate Maximization in IRS-aided OWC Networks
作者: Ahrar N. Hamad, Ahmad Adnan Qidan, Taisir E. H. Elgorashi, Jaafar M. H. Elmirghani
分类: eess.SY
发布日期: 2024-09-07
备注: 6Pages, 5 Figures
💡 一句话要点
提出基于强化学习的IRS辅助OWC网络速率最大化方案
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 光无线通信 智能反射面 强化学习 速率最大化 资源分配
📋 核心要点
- 室内OWC易受遮挡影响，导致用户与AP间的视距中断，影响服务质量。
- 利用IRS反射AP信号，为用户提供额外的通信路径，提升连接可靠性和数据速率。
- 通过Q-learning和SARSA算法优化AP和IRS单元的分配，实现接近最优的总速率。
📝 摘要（中文）
本文研究了将智能反射面（IRS）集成到室内光无线通信（OWC）系统中，以提高用户的总速率并确保服务连续性。针对总速率最大化问题，本文提出了一种优化方案，该方案确定了AP和IRS的反射单元到用户的分配，以提高总数据速率。此外，本文还提出了强化学习（RL）算法，特别是Q-learning和SARSA算法，以提供低复杂度和无需先验系统知识的实时解决方案。结果表明，RL算法实现了接近最优的解决方案，与混合整数线性规划（MILP）的解决方案接近。结果还表明，与仅优化AP分配而基于距离分配反射单元的传统方案相比，所提出的方案实现了高达45%的数据速率提升。
🔬 方法详解
问题定义：论文旨在解决室内OWC网络中，由于视距遮挡导致的用户数据速率下降问题。现有方法通常只关注AP的分配，而忽略了IRS的优化配置，导致系统性能受限。此外，传统的优化方法计算复杂度高，难以满足实时性要求。
核心思路：论文的核心思路是利用IRS的反射能力，为用户提供额外的通信路径，从而提高数据速率和连接可靠性。通过联合优化AP和IRS单元的分配，最大化用户的总速率。同时，采用强化学习算法，降低计算复杂度，实现实时优化。
技术框架：整体框架包括：1）OWC网络环境建模，考虑AP、用户和IRS的位置以及信道特性；2）定义总速率最大化问题，将AP和IRS单元的分配作为优化变量；3）设计基于Q-learning和SARSA的强化学习算法，用于求解优化问题；4）通过仿真实验评估算法性能，并与传统方法和MILP最优解进行比较。
关键创新：论文的关键创新在于将强化学习算法应用于IRS辅助的OWC网络资源分配问题。与传统的优化方法相比，强化学习算法无需先验系统知识，能够自适应地学习最优策略，降低了计算复杂度，提高了实时性。此外，论文还提出了联合优化AP和IRS单元分配的方案，进一步提升了系统性能。
关键设计：论文中，状态空间定义为AP和IRS单元的分配情况，动作空间定义为AP和IRS单元的调整策略。奖励函数设计为总速率的增量，引导智能体学习最大化总速率的策略。Q-learning和SARSA算法采用ε-greedy策略进行探索，并使用合适的学习率和折扣因子进行训练。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的基于强化学习的资源分配方案能够有效地提高OWC网络的总速率。与传统的仅优化AP分配的方案相比，该方案实现了高达45%的数据速率提升。此外，Q-learning和SARSA算法的性能接近MILP最优解，验证了强化学习算法在解决该问题上的有效性。
🎯 应用场景
该研究成果可应用于室内无线通信场景，例如智能家居、办公场所、工厂车间等，通过部署IRS，提高通信质量和覆盖范围，为用户提供高速稳定的无线连接。此外，该技术还可应用于应急通信和灾后救援等场景，快速部署IRS，恢复通信网络，保障信息畅通。
📄 摘要（原文）
Optical wireless communication (OWC) is envisioned as one of the main enabling technologies of 6G networks, complementing radio frequency (RF) systems to provide high data rates. One of the crucial issues in indoor OWC is service interruptions due to blockages that obstruct the line of sight (LoS) between users and their access points (APs). Recently, reflecting surfaces referred to as intelligent reflecting surfaces (IRSs) have been considered to provide improved connectivity in OWC systems by reflecting AP signals toward users. In this study, we investigate the integration of IRSs into an indoor OWC system to improve the sum rate of the users and to ensure service continuity. We formulate an optimization problem for sum rate maximization, where the allocation of both APs and mirror elements of IRSs to users is determined to enhance the aggregate data rate. Moreover, reinforcement learning (RL) algorithms, specifically Q-learning and SARSA algorithms, are proposed to provide real-time solutions with low complexity and without prior system knowledge. The results show that the RL algorithms achieve near-optimal solutions that are close to the solutions of mixed integer linear programming (MILP). The results also show that the proposed scheme achieves up to a 45% increase in data rate compared to a traditional scheme that optimizes only the allocation of APs while the mirror elements are assigned to users based on the distance.