DRL-Based Maximization of the Sum Cross-Layer Achievable Rate for Networks Under Jamming

📄 arXiv: 2501.11626v1 📥 PDF

作者: Abdul Basit, Muddasir Rahim, Tri Nhu Do, Nadir Adam, Georges Kaddoum

分类: eess.SY

发布日期: 2025-01-20

💡 一句话要点

提出基于DRL的跨层可达速率最大化方法，解决干扰环境下无线网络信道接入问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 信道接入 无线网络 干扰抑制 跨层优化

📋 核心要点

  1. 现有准静态无线网络易受恶意干扰，传统信道接入方法难以适应动态变化，导致网络性能下降。
  2. 提出一种基于深度强化学习的信道接入机制，智能UE通过学习动态调整传输策略，避开干扰，提升网络性能。
  3. 实验结果表明，该方法能有效提升信道利用率和网络总跨层可达速率，验证了其在干扰环境下的有效性。

📝 摘要（中文）

在准静态无线网络中，用户设备（UE）的传输调度变化缓慢，恶意干扰者容易降低网络性能。因此，在干扰和动态信道条件下管理信道接入是一个关键挑战。本文提出了一种基于鲁棒学习的机制，用于多小区准静态网络中干扰下的信道接入。该网络包含多个合法UE，包括具有随机预定义调度的预定义UE（pUE）和一个具有未定义传输调度的智能UE（iUE），它们都在共享的时变上行链路信道上传输。干扰者发送有害数据包以干扰pUE和iUE的通信。iUE的学习过程基于深度强化学习（DRL）框架，利用基于残差网络（ResNet）的深度Q网络（DQN）。为了在网络中共存并最大化网络的总跨层可达速率（SCLAR），iUE必须学习未知的网络动态，同时适应动态信道条件。仿真结果表明，通过在DRL中适当定义状态空间、动作空间和奖励，iUE可以有效地在网络中共存，通过明智地选择传输时隙，从而避免冲突和干扰，从而最大化信道利用率和网络的SCLAR。

🔬 方法详解

问题定义：论文旨在解决准静态无线网络中，恶意干扰导致信道利用率低、网络性能下降的问题。现有信道接入方法难以适应动态变化的干扰环境，无法有效避免冲突和干扰，导致网络总跨层可达速率受限。

核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能UE（iUE），使其能够学习网络动态，并根据当前状态智能地选择传输时隙，从而避开干扰，最大化网络的总跨层可达速率（SCLAR）。通过让iUE自主学习，适应未知的网络环境和干扰模式。

技术框架：整体框架包括一个多小区准静态无线网络，其中包含多个预定义UE（pUE）和一个智能UE（iUE）。干扰者随机发送干扰信号。iUE通过DRL学习最佳传输策略。具体流程为：iUE观察网络状态（例如信道状态、pUE的传输情况），根据当前状态选择一个动作（即选择一个传输时隙），执行该动作后，网络环境发生变化，iUE获得一个奖励（基于SCLAR）。通过不断迭代，iUE学习到一个最优策略。

关键创新：最重要的技术创新点在于将深度强化学习应用于干扰环境下的信道接入问题，使得智能UE能够自主学习并适应动态变化的干扰模式。与传统的静态信道接入方法相比，该方法能够更好地利用信道资源，提高网络的抗干扰能力。此外，使用ResNet作为DQN的网络结构，增强了模型的学习能力。

关键设计：状态空间包括信道状态信息、pUE的传输调度信息等。动作空间为可用的传输时隙集合。奖励函数基于网络的总跨层可达速率（SCLAR），旨在鼓励iUE选择能够最大化SCLAR的传输时隙。DQN采用ResNet结构，以提高模型的学习能力和泛化能力。具体参数设置（如学习率、折扣因子等）未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，通过合理定义DRL中的状态空间、动作空间和奖励函数，智能UE能够有效地在网络中共存，并通过明智地选择传输时隙来最大化信道利用率和网络的总跨层可达速率（SCLAR）。具体的性能提升数据未知，但结果表明该方法在干扰环境下具有良好的性能。

🎯 应用场景

该研究成果可应用于各种无线通信场景，尤其是在存在恶意干扰或信道环境动态变化的场景下，例如军事通信、物联网、无线传感器网络等。通过智能地调整信道接入策略，可以提高网络的抗干扰能力和资源利用率，保障通信的可靠性和效率，具有重要的实际应用价值和潜在的未来影响。

📄 摘要（原文）

In quasi-static wireless networks characterized by infrequent changes in the transmission schedules of user equipment (UE), malicious jammers can easily deteriorate network performance. Accordingly, a key challenge in these networks is managing channel access amidst jammers and under dynamic channel conditions. In this context, we propose a robust learning-based mechanism for channel access in multi-cell quasi-static networks under jamming. The network comprises multiple legitimate UEs, including predefined UEs (pUEs) with stochastic predefined schedules and an intelligent UE (iUE) with an undefined transmission schedule, all transmitting over a shared, time-varying uplink channel. Jammers transmit unwanted packets to disturb the pUEs' and the iUE's communication. The iUE's learning process is based on the deep reinforcement learning (DRL) framework, utilizing a residual network (ResNet)-based deep Q-Network (DQN). To coexist in the network and maximize the network's sum cross-layer achievable rate (SCLAR), the iUE must learn the unknown network dynamics while concurrently adapting to dynamic channel conditions. Our simulation results reveal that, with properly defined state space, action space, and rewards in DRL, the iUE can effectively coexist in the network, maximizing channel utilization and the network's SCLAR by judiciously selecting transmission time slots and thus avoiding collisions and jamming.