Meta-Reinforcement Learning for Fast and Data-Efficient Spectrum Allocation in Dynamic Wireless Networks

📄 arXiv: 2507.10619v1 📥 PDF

作者: Oluwaseyi Giwa, Tobi Awodunmila, Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Ali Jamshed

分类: cs.LG, cs.AI, cs.NI

发布日期: 2025-07-13

备注: 5 pages, 6 figures, under review at IEEE Wireless Communications Letters

💡 一句话要点

提出基于元强化学习的频谱动态分配方法，提升5G/6G网络资源利用率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 频谱分配 动态无线网络 5G/6G 模型无关元学习 循环神经网络 注意力机制

📋 核心要点

  1. 传统DRL方法在动态频谱分配中面临样本效率低和探索风险高的挑战，可能导致网络干扰。
  2. 论文提出基于元学习的频谱分配框架，旨在学习鲁棒的初始策略并快速适应新场景，降低数据需求。
  3. 实验结果表明，基于注意力的元学习方法在吞吐量、SINR违规和延迟方面显著优于PPO基线。

📝 摘要（中文）

5G/6G网络中频谱的动态分配对于高效的资源利用至关重要。然而，传统的深度强化学习(DRL)方法由于其巨大的样本复杂性和无引导探索带来的安全风险（可能导致严重的网络干扰）而常常不可行。为了解决这些挑战，我们提出了一个元学习框架，使智能体能够学习一个鲁棒的初始策略，并以最少的数据快速适应新的无线场景。我们实现了三种元学习架构：模型无关的元学习(MAML)、循环神经网络(RNN)以及注意力增强的RNN，并在模拟的动态集成接入/回程(IAB)环境中，针对非元学习的DRL算法近端策略优化(PPO)基线进行了评估。结果显示了明显的性能差距。基于注意力的元学习智能体达到了48 Mbps的峰值平均网络吞吐量，而PPO基线急剧下降至10 Mbps。此外，与PPO相比，我们的方法将SINR和延迟违规降低了50%以上。它还显示出快速适应性，公平性指数为0.7，表明资源分配更好。这项工作证明，元学习是复杂无线系统中智能控制的一种非常有效且更安全的选择。

🔬 方法详解

问题定义：论文旨在解决5G/6G动态无线网络中频谱资源的高效分配问题。传统DRL方法需要大量的训练数据，并且在探索过程中可能产生有害的网络干扰，导致频谱分配策略不稳定和性能下降。现有方法难以快速适应新的网络环境和用户需求。

核心思路：论文的核心思路是利用元学习，使智能体能够从多个相似的任务中学习通用的初始化策略，从而在新的频谱分配任务中能够快速适应，减少对大量数据的依赖，并降低探索过程中的风险。通过学习不同网络环境下的频谱分配经验，智能体可以更快地找到最优策略。

技术框架：该框架包含一个元学习训练阶段和一个快速适应阶段。在元学习训练阶段，使用多个模拟的无线网络环境作为训练任务，通过MAML、RNN或注意力增强的RNN等元学习算法，学习一个良好的初始化策略。在快速适应阶段，将学习到的初始化策略应用于新的无线网络环境，并使用少量数据进行微调，以快速适应新的环境。整体流程是先通过元学习获得一个较好的策略起点，然后在新环境中进行快速的策略优化。

关键创新：论文的关键创新在于将元学习应用于动态频谱分配问题，并提出了基于注意力机制的RNN元学习架构。注意力机制能够帮助智能体更好地关注重要的频谱资源和用户需求，从而提高频谱分配的效率和公平性。此外，该方法能够显著减少对大量训练数据的依赖，降低了部署成本和风险。

关键设计：论文实现了三种元学习架构：MAML、RNN和注意力增强的RNN。注意力增强的RNN在RNN的基础上引入了注意力机制，用于选择性地关注输入序列中的重要信息。损失函数通常包括强化学习中的奖励函数和元学习中的适应性损失。具体参数设置（如学习率、网络层数等）未知，需要在实验中进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于注意力的元学习智能体在动态IAB环境中达到了48 Mbps的峰值平均网络吞吐量，而PPO基线仅为10 Mbps。与PPO相比，该方法将SINR和延迟违规降低了50%以上，并且具有更好的资源分配公平性（公平性指数为0.7）。这些结果表明，元学习在动态频谱分配方面具有显著的优势。

🎯 应用场景

该研究成果可应用于未来的5G/6G无线网络，实现更智能、高效的频谱资源管理。通过快速适应不同的网络环境和用户需求，可以提高网络吞吐量、降低延迟，并提升用户体验。此外，该方法还可以应用于其他无线资源管理问题，例如功率控制和波束赋形。

📄 摘要（原文）

The dynamic allocation of spectrum in 5G / 6G networks is critical to efficient resource utilization. However, applying traditional deep reinforcement learning (DRL) is often infeasible due to its immense sample complexity and the safety risks associated with unguided exploration, which can cause severe network interference. To address these challenges, we propose a meta-learning framework that enables agents to learn a robust initial policy and rapidly adapt to new wireless scenarios with minimal data. We implement three meta-learning architectures, model-agnostic meta-learning (MAML), recurrent neural network (RNN), and an attention-enhanced RNN, and evaluate them against a non-meta-learning DRL algorithm, proximal policy optimization (PPO) baseline, in a simulated dynamic integrated access/backhaul (IAB) environment. Our results show a clear performance gap. The attention-based meta-learning agent reaches a peak mean network throughput of 48 Mbps, while the PPO baseline decreased drastically to 10 Mbps. Furthermore, our method reduces SINR and latency violations by more than 50% compared to PPO. It also shows quick adaptation, with a fairness index 0.7, showing better resource allocation. This work proves that meta-learning is a very effective and safer option for intelligent control in complex wireless systems.