AoI-Aware Task Offloading and Transmission Optimization for Industrial IoT Networks: A Branching Deep Reinforcement Learning Approach

📄 arXiv: 2510.16414v1 📥 PDF

作者: Yuang Chen, Fengqian Guo, Chang Wu, Shuyi Liu, Hancheng Lu, Chang Wen Chen

分类: eess.SY, cs.LG

发布日期: 2025-10-18

备注: 15 pages, 13 figures, submitted to IEEE journal for potential publication

💡 一句话要点

针对工业物联网，提出基于分支深度强化学习的AoI感知任务卸载与传输优化方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 工业物联网 信息年龄 任务卸载 资源分配 深度强化学习 多基站 实时性

📋 核心要点

  1. 工业物联网中，频繁的大数据传输对实时性要求高，现有方法难以在多基站场景下有效优化信息年龄。
  2. 提出一种基于分支D3QN的算法，将动作空间复杂度从指数级降至线性级，优化任务卸载决策。
  3. 实验结果表明，该算法相较于现有DRL方法和启发式算法，收敛速度提升75%，AoI降低至少22%。

📝 摘要（中文）

本文针对工业物联网(IIoT)中大量数据无线传输对实时性的严格要求，提出了一种基于信息年龄(AoI)的多基站(BS)实时监控框架，以支持大规模IIoT部署。为了满足IIoT的实时性需求，本文构建了一个联合任务卸载和资源分配优化问题，目标是最小化长期平均AoI。解决多基站决策空间中的组合爆炸以及IIoT系统的随机动态性是关键，因为这些因素使得传统优化方法难以处理。首先，提出了一种创新的基于分支的Dueling Double Deep Q-Network (Branching-D3QN)算法，以有效地实现任务卸载，通过将动作空间复杂度从指数级降低到线性级来优化收敛性能。然后，通过证明带宽和计算资源Hessian矩阵的半正定性，提出了资源分配的有效优化解决方案。最后，提出了一种迭代优化算法，用于高效的联合任务卸载和资源分配，以实现最佳的平均AoI性能。大量的仿真结果表明，我们提出的Branching-D3QN算法优于最先进的DRL方法和经典启发式算法，实现了高达75%的收敛速度提升，以及至少22%的长期平均AoI降低。

🔬 方法详解

问题定义：论文旨在解决工业物联网中，多基站场景下，如何联合优化任务卸载和资源分配，以最小化长期平均信息年龄(AoI)的问题。现有方法在处理多基站决策空间时，面临组合爆炸的挑战，导致计算复杂度过高，难以满足IIoT的实时性需求。此外，IIoT系统的随机动态性也使得传统优化方法难以有效应用。

核心思路：论文的核心思路是利用深度强化学习(DRL)来学习最优的任务卸载策略，并结合凸优化方法来优化资源分配。通过将任务卸载问题建模为马尔可夫决策过程(MDP)，并使用分支D3QN算法来解决动作空间过大的问题。同时，利用Hessian矩阵的半正定性，设计高效的资源分配算法。

技术框架：整体框架包含两个主要部分：任务卸载和资源分配。首先，使用Branching-D3QN算法进行任务卸载决策，确定每个任务应该卸载到哪个基站。然后，基于任务卸载决策，使用凸优化方法进行资源分配，包括带宽和计算资源的分配。这两个部分通过迭代优化算法进行联合优化，以达到最小化长期平均AoI的目标。

关键创新：论文最重要的技术创新点在于提出了Branching-D3QN算法，用于解决多基站场景下任务卸载的动作空间爆炸问题。传统的DQN算法在处理离散动作空间时，动作数量会随着基站数量的增加呈指数级增长，导致学习效率低下。Branching-D3QN算法通过将动作空间分解为多个分支，每个分支对应一个基站，从而将动作空间复杂度降低到线性级别。

关键设计：Branching-D3QN算法的关键设计在于其网络结构和损失函数。网络结构包含一个共享的状态表示层和多个分支的动作价值评估层，每个分支对应一个基站。损失函数采用D3QN的损失函数，并结合分支结构进行调整。资源分配方面，利用Hessian矩阵的半正定性，设计高效的凸优化算法，以保证资源分配的最优性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的Branching-D3QN算法在收敛速度和AoI性能方面均优于现有方法。具体而言，相较于传统的DQN算法和启发式算法，Branching-D3QN算法的收敛速度提升了75%，长期平均AoI降低了至少22%。这些结果验证了该算法在解决工业物联网任务卸载和资源分配问题上的有效性。

🎯 应用场景

该研究成果可应用于各种工业物联网场景，例如智能制造、智慧城市、环境监测等。通过优化任务卸载和资源分配，可以有效降低数据传输延迟，提高系统实时性，从而提升生产效率和决策质量。该方法还可扩展到其他无线网络场景，具有广泛的应用前景。

📄 摘要（原文）

In the Industrial Internet of Things (IIoT), the frequent transmission of large amounts of data over wireless networks should meet the stringent timeliness requirements. Particularly, the freshness of packet status updates has a significant impact on the system performance. In this paper, we propose an age-of-information (AoI)-aware multi-base station (BS) real-time monitoring framework to support extensive IIoT deployments. To meet the freshness requirements of IIoT, we formulate a joint task offloading and resource allocation optimization problem with the goal of minimizing long-term average AoI. Tackling the core challenges of combinatorial explosion in multi-BS decision spaces and the stochastic dynamics of IIoT systems is crucial, as these factors render traditional optimization methods intractable. Firstly, an innovative branching-based Dueling Double Deep Q-Network (Branching-D3QN) algorithm is proposed to effectively implement task offloading, which optimizes the convergence performance by reducing the action space complexity from exponential to linear levels. Then, an efficient optimization solution to resource allocation is proposed by proving the semi-definite property of the Hessian matrix of bandwidth and computation resources. Finally, we propose an iterative optimization algorithm for efficient joint task offloading and resource allocation to achieve optimal average AoI performance. Extensive simulations demonstrate that our proposed Branching-D3QN algorithm outperforms both state-of-the-art DRL methods and classical heuristics, achieving up to a 75% enhanced convergence speed and at least a 22% reduction in the long-term average AoI.