Safe Deep Reinforcement Learning for Resource Allocation with Peak Age of Information Violation Guarantees

📄 arXiv: 2507.08653v1 📥 PDF

作者: Berire Gunes Reyhan, Sinem Coleri

分类: eess.SP, cs.AI, cs.LG, cs.MA

发布日期: 2025-07-11

备注: 15 Pages, to be published in IEEE Transactions on Communications

💡 一句话要点

提出基于优化理论的安全深度强化学习框架，解决无线网络控制系统资源分配问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 无线网络控制系统 资源分配 峰值信息年龄 安全学习

📋 核心要点

  1. 无线网络控制系统(WNCSs)中，控制与通信的协同设计至关重要，现有方法难以在保证系统约束的同时优化性能。
  2. 论文提出一种基于优化理论的安全深度强化学习框架，利用优化理论简化问题，并使用教师-学生框架指导DRL智能体。
  3. 仿真结果表明，该框架在收敛速度、奖励和稳定性方面均优于现有基准方法，验证了其有效性。

📝 摘要（中文）

本文针对超可靠无线网络控制系统(WNCSs)中控制与通信系统强耦合的问题，首次提出了一种基于优化理论的安全深度强化学习(DRL)框架，确保约束满足的同时优化性能。该方法在有限块长体制下，最小化功率消耗，同时满足峰值信息年龄(PAoI)违例概率、发射功率和可调度性等关键约束。通过结合多传感器网络中的随机最大允许传输间隔(MATI)和最大允许包延迟(MAD)约束，唯一地推导了PAoI违例概率。该框架包括优化理论和安全DRL两个阶段：第一阶段推导最优性条件，建立变量之间的数学关系，简化并分解问题；第二阶段采用安全DRL模型，其中教师-学生框架指导DRL智能体(学生)，控制机制(教师)评估系统约束的依从性，并在需要时建议最近的可行动作。大量仿真表明，所提出的框架优于基于规则和其他基于优化理论的DRL基准，实现了更快的收敛速度、更高的奖励和更大的稳定性。

🔬 方法详解

问题定义：论文旨在解决无线网络控制系统(WNCSs)中的资源分配问题，特别是在满足超可靠性要求的同时最小化功率消耗。现有的方法，如传统的优化方法，计算复杂度高，难以适应动态变化的网络环境。而直接应用深度强化学习(DRL)可能无法保证系统约束的满足，导致PAoI违例等问题。

核心思路：论文的核心思路是将优化理论与安全DRL相结合。首先，利用优化理论推导出最优性条件，建立变量之间的数学关系，从而简化和分解原问题。然后，利用安全DRL学习最优的资源分配策略，同时确保系统约束的满足。这种结合既能利用DRL的自适应能力，又能保证系统的安全性。

技术框架：该框架包含两个主要阶段：优化理论阶段和安全DRL阶段。在优化理论阶段，通过分析PAoI违例概率、发射功率和可调度性等约束条件，推导出最优性条件，将复杂的优化问题分解为更易于处理的子问题。在安全DRL阶段，采用教师-学生框架，其中教师模块负责评估DRL智能体(学生)的动作是否满足系统约束，如果违反约束，则建议最近的可行动作。学生模块则通过与环境交互，学习最优的资源分配策略。

关键创新：该论文的关键创新在于首次将优化理论与安全DRL相结合，用于解决WNCSs中的资源分配问题。通过优化理论简化问题，并利用教师-学生框架保证系统约束的满足，从而实现了性能和安全性的平衡。此外，论文还创新性地结合随机MATI和MAD约束，推导了PAoI违例概率。

关键设计：在安全DRL阶段，采用了教师-学生框架。教师模块的设计至关重要，它需要能够快速准确地评估动作的安全性，并提供可行的替代动作。损失函数的设计需要考虑性能优化和约束满足两个方面。网络结构的选择也需要根据具体问题进行调整，以提高学习效率和泛化能力。具体的参数设置在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的安全DRL框架在收敛速度、奖励和稳定性方面均优于基于规则和其他基于优化理论的DRL基准。具体来说，该框架能够更快地找到最优策略，获得更高的累积奖励，并且在面对环境变化时表现出更强的鲁棒性。论文中没有给出具体的性能提升百分比，属于未知信息。

🎯 应用场景

该研究成果可应用于各种无线网络控制系统，例如工业自动化、智能交通、远程医疗等领域。通过优化资源分配，可以提高系统的可靠性、降低功耗，并提升整体性能。未来，该方法有望推广到更复杂的网络环境，例如多智能体系统和异构网络。

📄 摘要（原文）

In Wireless Networked Control Systems (WNCSs), control and communication systems must be co-designed due to their strong interdependence. This paper presents a novel optimization theory-based safe deep reinforcement learning (DRL) framework for ultra-reliable WNCSs, ensuring constraint satisfaction while optimizing performance, for the first time in the literature. The approach minimizes power consumption under key constraints, including Peak Age of Information (PAoI) violation probability, transmit power, and schedulability in the finite blocklength regime. PAoI violation probability is uniquely derived by combining stochastic maximum allowable transfer interval (MATI) and maximum allowable packet delay (MAD) constraints in a multi-sensor network. The framework consists of two stages: optimization theory and safe DRL. The first stage derives optimality conditions to establish mathematical relationships among variables, simplifying and decomposing the problem. The second stage employs a safe DRL model where a teacher-student framework guides the DRL agent (student). The control mechanism (teacher) evaluates compliance with system constraints and suggests the nearest feasible action when needed. Extensive simulations show that the proposed framework outperforms rule-based and other optimization theory based DRL benchmarks, achieving faster convergence, higher rewards, and greater stability.