Cooperative Dueling DQN SAC Learning for Energy Efficiency in Dynamic OWC Networks

📄 arXiv: 2610.09266v1 📥 PDF

作者: Walter Zibusiso Ncube, Ahmad Adnan Qidan, Taisir El-Gorashi, Jaafar M. H. Elmirghani

分类: eess.SY

发布日期: 2026-10-07

💡 一句话要点

提出DARA-DRL以解决动态光无线通信网络中的能效问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 光无线通信 深度强化学习 资源分配 能效优化 动态网络 多代理系统 服务质量

📋 核心要点

  1. 动态光无线通信网络面临用户移动和服务需求变化带来的资源分配挑战，导致能效低下。
  2. 本文提出DARA-DRL，通过结合对抗深度Q网络和软演员评论家，实现资源分配与功率控制的联合优化。
  3. 实验结果显示，DARA-DRL在能效上提高了28.8%，服务质量满意度提升10.5%，决策时间减少14.5%。

📝 摘要（中文）

随着无线流量的增长，电磁频谱的拥堵问题日益严重。光无线通信（OWC）利用丰富的光谱资源提供了补充解决方案。然而，室内OWC网络动态变化，用户的移动和服务需求的变化导致资源分配不当，造成子载波浪费和过高的传输功率。为了解决这一问题，本文提出了双代理资源分配的深度强化学习方法（DARA-DRL），该方法结合了分支对抗深度Q网络和条件软演员评论家代理，以实现联合的资源分配和功率控制。仿真结果表明，DARA-DRL在能效和服务质量方面均显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决动态光无线通信网络中由于用户移动和服务需求变化导致的资源分配不当问题。现有方法在资源分配和功率控制方面缺乏协调，导致能效低下和频繁的接入点重新分配。

核心思路：论文提出的DARA-DRL方法通过双代理的方式，结合深度强化学习技术，优化资源分配和功率控制。通过共同奖励机制和协作价值更新，提升了资源分配的效率和效果。

技术框架：DARA-DRL的整体架构包括两个主要模块：一个是基于对抗深度Q网络的代理，负责用户关联和子载波分配；另一个是条件软演员评论家代理，负责连续功率控制。这两个代理通过共享奖励和协作更新进行耦合。

关键创新：DARA-DRL的主要创新在于将对抗深度Q网络与条件软演员评论家相结合，形成了一个高效的资源分配框架。这种设计使得代理能够在动态环境中更好地协作，从而优化能效。

关键设计：在DARA-DRL中，关键参数包括代理的学习率、奖励函数的设计以及网络结构的深度和宽度。损失函数的设计考虑了资源分配的效率和功率控制的稳定性，以确保代理能够快速适应动态变化的网络环境。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，DARA-DRL在能效方面比现有最先进的方法提高了28.8%，服务质量满意度提升了10.5%，同时在线决策时间减少了14.5%。这些结果显示了代理间的协作能够显著提升学习效率。

🎯 应用场景

该研究的潜在应用领域包括智能建筑、无线网络管理和物联网等。通过优化光无线通信网络的能效，能够有效降低运营成本，提高用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Growing wireless traffic is increasing pressure on the congested radio-frequency spectrum. Optical wireless communication (OWC) provides a complementary solution by using the abundant unlicensed optical spectrum. However, indoor OWC networks are dynamic: users move, enter or leave the network, and subscribe to different services. Poorly coordinated resource allocation can consequently waste subcarriers, require excessive transmission power and cause frequent AP reassignments. Energy efficiency (EE), defined as the total delivered data rate divided by the total network power consumption, therefore requires the serving AP, number of allocated subcarriers, and transmission power to be jointly adapted while maintaining QoS. Optimising these in a dynamic time series, multi-service OWC environment produces a complex sequential EE optimisation problem. To address this problem, this work proposes Dual-Agent Resource Allocation using Deep Reinforcement Learning (DARA-DRL). DARA-DRL combines a branching duelling deep Q-network for association and subcarrier allocation with a conditional soft actor-critic agent for continuous power control. The agents are coupled through a common reward and a cooperative value update that evaluates each discrete allocation together with its corresponding power decision. Simulation results show that DARA-DRL remains within 5\% of the optimal solution and, compared with state-of-the-art benchmarks, it improves EE by 28.8\% and QoS satisfaction by 10.5\%, while reducing online decision time by 14.5\%. Results demonstrate that agent specialisation simplifies mixed-action learning, and cooperation outperforms independently trained agents.