Continual Learning to Generalize Forwarding Strategies for Diverse Mobile Wireless Networks

📄 arXiv: 2509.23913v1 📥 PDF

作者: Cheonjin Park, Victoria Manfredi, Xiaolan Zhang, Chengyi Liu, Alicia P Wolfe, Dongjin Song, Sarah Tasneem, Bing Wang

分类: cs.NI, cs.AI

发布日期: 2025-09-28

备注: 11 pages

💡 一句话要点

提出一种基于持续学习的通用转发策略，提升移动无线网络在多样场景下的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 深度强化学习 移动无线网络 转发策略 网络泛化

📋 核心要点

  1. 现有基于深度强化学习的转发策略在面对与训练环境差异较大的网络场景时，泛化能力不足，性能下降明显。
  2. 论文提出一种基于持续学习的框架，通过构建通用基础模型并进行微调，实现转发策略在不同移动网络场景下的泛化。
  3. 实验结果表明，该方法在真实城市场景中表现出良好的泛化能力，显著降低了延迟，提高了数据交付率。

📝 摘要（中文）

本文提出了一种框架，旨在解决多跳移动无线网络中转发策略的泛化性问题。该框架首先开发一个考虑多样网络场景的通用基础模型，然后将该模型应用于新场景，并在必要时使用少量新场景数据进行微调。为了支持该框架，本文设计了新的特征来表征网络变化和特征质量，从而改进了基于深度强化学习（DRL）的转发决策。此外，还开发了一种持续学习（CL）方法，能够在多样网络场景中训练DRL模型，避免“灾难性遗忘”。通过包括两个城市真实场景在内的大量评估，结果表明该方法可以泛化到未知的移动场景。与最先进的启发式转发策略相比，该方法可将延迟降低高达78%，交付率提高24%，并具有相当或略高的转发次数。

🔬 方法详解

问题定义：论文旨在解决多跳移动无线网络中，基于深度强化学习的转发策略难以泛化到不同网络环境的问题。现有的方法通常针对特定场景进行优化，当网络拓扑、节点密度、移动模式等发生变化时，性能会显著下降，缺乏适应性和鲁棒性。

核心思路：论文的核心思路是利用持续学习（Continual Learning）的思想，首先训练一个在多种网络场景下都表现良好的通用基础模型，然后针对新的特定场景，利用少量数据对该基础模型进行微调，从而快速适应新环境，避免从头开始训练，并克服灾难性遗忘问题。

技术框架：整体框架包含两个主要阶段：1) 通用基础模型训练阶段：使用包含多种网络场景的数据集训练一个深度强化学习模型，使其具备一定的泛化能力。该阶段的关键是设计能够有效表征网络状态和变化的新特征。2) 模型微调阶段：当遇到新的网络场景时，使用少量该场景的数据对基础模型进行微调，使其快速适应新环境。持续学习算法用于防止在微调过程中遗忘之前学习到的知识。

关键创新：论文的关键创新在于：1) 提出了新的网络特征，能够更有效地表征网络状态和变化，从而提升了深度强化学习模型的性能和泛化能力。2) 将持续学习方法引入到移动无线网络转发策略的学习中，解决了传统方法难以适应动态变化的网络环境的问题。

关键设计：论文设计了新的特征来表征网络变化和特征质量，具体细节未知。深度强化学习模型采用的具体网络结构未知，损失函数的设计也未知。持续学习算法的具体选择和参数设置未知。

📊 实验亮点

实验结果表明，该方法在两个真实城市场景中表现出良好的泛化能力。与最先进的启发式转发策略相比，该方法可将延迟降低高达78%，交付率提高24%，并具有相当或略高的转发次数。这些结果验证了该方法在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于各种复杂的移动无线网络环境，例如车载自组织网络（VANET）、无人机网络、物联网等。通过自适应地调整转发策略，可以显著提高网络的性能和可靠性，降低延迟，提升用户体验。该方法还有助于降低网络维护成本，提高资源利用率。

📄 摘要（原文）

Deep reinforcement learning (DRL) has been successfully used to design forwarding strategies for multi-hop mobile wireless networks. While such strategies can be used directly for networks with varied connectivity and dynamic conditions, developing generalizable approaches that are effective on scenarios significantly different from the training environment remains largely unexplored. In this paper, we propose a framework to address the challenge of generalizability by (i) developing a generalizable base model considering diverse mobile network scenarios, and (ii) using the generalizable base model for new scenarios, and when needed, fine-tuning the base model using a small amount of data from the new scenarios. To support this framework, we first design new features to characterize network variation and feature quality, thereby improving the information used in DRL-based forwarding decisions. We then develop a continual learning (CL) approach able to train DRL models across diverse network scenarios without ``catastrophic forgetting.'' Using extensive evaluation, including real-world scenarios in two cities, we show that our approach is generalizable to unseen mobility scenarios. Compared to a state-of-the-art heuristic forwarding strategy, it leads to up to 78% reduction in delay, 24% improvement in delivery rate, and comparable or slightly higher number of forwards.