Large Vision Model-Enhanced Digital Twin with Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks

📄 arXiv: 2410.07611v2 📥 PDF

作者: Zhenyu Tao, Wei Xu, Xiaohu You

分类: cs.LG, eess.SY

发布日期: 2024-10-10 (更新: 2025-05-16)

备注: arXiv admin note: text overlap with arXiv:2407.19765. This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出基于大视觉模型增强数字孪生的深度强化学习方法，解决动态无线网络中的用户关联和负载均衡问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 数字孪生 大视觉模型 用户关联 负载均衡 动态无线网络 扩散模型 零样本学习

📋 核心要点

  1. 现有深度强化学习方法在动态无线网络用户关联中面临高试错成本和训练期间物理网络性能不佳的挑战，且通常适用于固定用户数量的场景。
  2. 论文提出利用大视觉模型增强的数字孪生环境，通过Map2Traj模型从地图生成用户轨迹，并在该环境中训练深度强化学习模型，避免直接与物理网络交互。
  3. 实验结果表明，所提出的LVM增强DT的训练效果与真实环境相当，并行DT框架在小区边缘用户性能方面比单个真实环境提升了近20%。

📝 摘要（中文）

本文提出了一种基于大视觉模型(LVM)增强的无线网络数字孪生(DT)方法，以及一种并行的DT驱动的深度强化学习(DRL)方法，用于解决动态用户数量、分布和移动模式下的用户关联和负载均衡问题。为了构建用于DRL训练的LVM增强DT，我们开发了一种基于扩散模型的零样本生成用户移动模型Map2Traj，该模型仅从街道地图估计用户轨迹模式和空间分布。DRL模型在DT环境中进行训练，避免与物理网络直接交互。为了增强DRL模型在动态场景中的泛化能力，进一步建立了并行DT框架，以减轻单环境训练中的强相关性和非平稳性，并提高训练效率。数值结果表明，所开发的LVM增强DT实现了与真实环境几乎相当的训练效果，并且所提出的并行DT框架在DRL训练中甚至优于单个真实环境，在小区边缘用户性能方面提升了近20%。

🔬 方法详解

问题定义：现有方法在动态无线网络用户关联和负载均衡问题中，面临着以下痛点：一是直接在真实网络中进行DRL训练成本高昂，且训练期间可能影响网络性能；二是现有DRL方法难以泛化到用户数量动态变化的场景；三是单环境训练存在强相关性和非平稳性问题，影响模型泛化能力。

核心思路：论文的核心思路是构建一个基于大视觉模型增强的数字孪生环境，该环境能够模拟真实无线网络的动态特性，并在此环境中进行DRL训练。通过Map2Traj模型，仅从街道地图生成逼真的用户移动轨迹，从而避免了对真实用户数据的依赖。此外，采用并行DT框架，利用多个不同的数字孪生环境进行训练，以提高模型的泛化能力。

技术框架：整体框架包含以下几个主要模块：1) Map2Traj模块：利用扩散模型，从街道地图生成用户移动轨迹和空间分布；2) 数字孪生环境构建模块：基于Map2Traj生成的用户轨迹，构建模拟真实无线网络的数字孪生环境；3) DRL训练模块：在数字孪生环境中训练DRL模型，优化用户关联和负载均衡策略；4) 并行DT框架：利用多个不同的数字孪生环境并行训练DRL模型，提高模型的泛化能力。

关键创新：论文的关键创新在于：1) 提出了基于大视觉模型的零样本用户移动模型Map2Traj，能够仅从街道地图生成逼真的用户轨迹，无需真实用户数据；2) 构建了LVM增强的数字孪生环境，能够有效模拟真实无线网络的动态特性，为DRL训练提供了一个安全、高效的平台；3) 提出了并行DT框架，通过在多个不同的数字孪生环境中进行训练，提高了DRL模型的泛化能力。

关键设计：Map2Traj模型基于扩散模型，通过学习街道地图与用户轨迹之间的映射关系，生成逼真的用户移动轨迹。DRL模型采用Actor-Critic架构，Actor网络负责生成用户关联策略，Critic网络负责评估策略的价值。并行DT框架中，每个数字孪生环境具有不同的用户分布、移动模式和网络配置，以增加训练数据的多样性。损失函数包括奖励函数和正则化项，奖励函数旨在最大化网络吞吐量和最小化用户延迟，正则化项旨在平衡各个基站的负载。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的LVM增强DT能够有效模拟真实无线网络环境，DRL模型在DT环境中的训练效果与在真实环境中的训练效果相当。更重要的是，并行DT框架在小区边缘用户性能方面比单个真实环境提升了近20%，证明了该方法在提高DRL模型泛化能力方面的有效性。此外，Map2Traj模型能够仅从街道地图生成逼真的用户轨迹，无需真实用户数据，降低了数据采集成本。

🎯 应用场景

该研究成果可应用于各种动态无线网络场景，例如城市热点区域的无线网络优化、大型活动场所的无线网络覆盖、以及车载无线网络等。通过构建数字孪生环境并利用DRL进行优化，可以显著提高网络性能，改善用户体验，并降低网络运营成本。未来，该方法还可以扩展到其他类型的网络，例如物联网和卫星网络。

📄 摘要（原文）

Optimization of user association in a densely deployed cellular network is usually challenging and even more complicated due to the dynamic nature of user mobility and fluctuation in user counts. While deep reinforcement learning (DRL) emerges as a promising solution, its application in practice is hindered by high trial-and-error costs in real world and unsatisfactory physical network performance during training. Also, existing DRL-based user association methods are typically applicable to scenarios with a fixed number of users due to convergence and compatibility challenges. To address these limitations, we introduce a large vision model (LVM)-enhanced digital twin (DT) for wireless networks and propose a parallel DT-driven DRL method for user association and load balancing in networks with dynamic user counts, distribution, and mobility patterns. To construct this LVM-enhanced DT for DRL training, we develop a zero-shot generative user mobility model, named Map2Traj, based on the diffusion model. Map2Traj estimates user trajectory patterns and spatial distributions solely from street maps. DRL models undergo training in the DT environment, avoiding direct interactions with physical networks. To enhance the generalization ability of DRL models for dynamic scenarios, a parallel DT framework is further established to alleviate strong correlation and non-stationarity in single-environment training and improve training efficiency. Numerical results show that the developed LVM-enhanced DT achieves closely comparable training efficacy to the real environment, and the proposed parallel DT framework even outperforms the single real-world environment in DRL training with nearly 20\% gain in terms of cell-edge user performance.