Distributed Online Learning for Time-Critical Communication in 6G Industrial Subnetworks
作者: Samira Abdelrahman, Hossam Farag, Gilberto Berardinelli
分类: eess.SY
发布日期: 2026-05-07
💡 一句话要点
提出基于分布式深度强化学习的媒体接入控制协议，以解决6G工业子网中时间敏感型警报的可靠传输问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 6G工业物联网 深度强化学习 媒体接入控制 时间敏感网络 分布式学习 无线资源管理
📋 核心要点
- 传统媒体接入方案在处理大规模、突发性且具有严格时延要求的工业警报流量时，往往因信道竞争激烈而导致可靠性不足。
- 论文提出了一种分布式DRL协议，通过本地接入点监听广播竞争签名信号，自主学习并优化信道选择策略以实现高效接入。
- 实验表明，该方法在40个子网规模下提升了至少7%的及时交付率，且随着网络规模扩大至60个子网，性能增益显著提升至21%。
📝 摘要（中文）
6G工业内X子网（in-X subnetworks）旨在支持大规模环境下的高时间敏感型警报报告，这些环境具有移动性、突发事件驱动流量及无线资源受限等特征。在此背景下，传统媒体接入方案难以在严格时限内保证关键流量（如紧急警报）的可靠交付，特别是在多个子网因共同警报事件同时激活的“共享消息媒体接入”场景下。本文提出了一种基于分布式深度强化学习（DRL）的媒体接入控制协议，用于时间敏感型工业子网中的警报传输。该方法使每个本地接入点（LAP）能够在线学习，通过广播竞争签名信号推断竞争条件，并利用轻量级深度神经网络和ε-贪婪策略在可用信道上自主选择传输模式。仿真结果表明，该方法在保证警报及时交付的概率上始终优于基准随机接入方案，并展现出更好的网络密度扩展性。
🔬 方法详解
问题定义：论文旨在解决6G工业子网中“共享消息媒体接入”带来的挑战。当多个子网同时触发警报时，传统随机接入机制会导致严重的碰撞和时延抖动，无法满足工业场景对紧急警报的严格时延约束。
核心思路：采用分布式深度强化学习（DRL）框架，将信道接入决策建模为马尔可夫决策过程（MDP）。通过让每个本地接入点（LAP）自主学习竞争环境特征，实现去中心化的信道资源分配，从而避免集中式调度带来的高开销和单点故障。
技术框架：系统由多个LAP组成，每个LAP配备一个轻量级深度神经网络。流程包括：LAP监听环境中的广播竞争签名信号（作为状态输入），通过神经网络输出动作概率分布，并采用ε-贪婪策略选择信道，最终根据传输结果获得奖励以在线更新模型参数。
关键创新：引入竞争签名信号作为环境感知机制，使各节点能够感知全局竞争态势；采用分布式在线学习架构，无需全局信息交换，显著降低了信令开销并提升了系统的可扩展性。
关键设计：设计了轻量级神经网络以适应工业终端的计算限制；采用ε-贪婪策略平衡探索与利用；奖励函数设计紧扣“及时交付”目标，对超时传输进行惩罚，从而引导模型收敛至最优接入策略。
🖼️ 关键图片
📊 实验亮点
实验对比了该方法与传统随机接入方案。结果显示，在40个子网的规模下，该方法将及时交付概率提升了7%；当网络密度增加至60个子网时，性能优势扩大至21%，证明了该方案在处理大规模突发流量时的卓越扩展性与鲁棒性。
🎯 应用场景
该研究主要应用于6G工业物联网（IIoT）场景，特别是涉及大规模自动化工厂、移动机器人协作及紧急安全监控的领域。其核心价值在于提升高密度工业环境下关键任务通信的确定性与可靠性，为实现工业4.0中的实时闭环控制提供通信保障。
📄 摘要（原文）
6G industrial in-X subnetworks are expected to support highly time-critical alarm reporting in large-scale environments characterized by mobility, bursty event-driven traffic, and limited radio resources. In such settings, conventional medium access solutions are ill-suited to guarantee reliable delivery of critical traffic, e.g., emergency alarms, within strict deadlines, especially when multiple subnetworks become simultaneously active after a common alarm event, a scenario widely referred as medium access with a shared message. This paper proposes a distributed deep reinforcement learning (DRL)-based medium access control protocol for timely alarm transmission in time-critical industrial subnetworks. The proposed method enables each local access point (LAP) to learn, in an online manner, to infer contention conditions from a broadcast contention-signature signal and to autonomously select a transmission pattern over the available channels using a lightweight deep neural network and an (ephsilon)-greedy policy. Simulation results demonstrate that the proposed approach consistently achieves a higher probability of in-time alarm delivery than benchmark random-access schemes, while exhibiting better scalability with increasing network density. For instance, the proposed method improves probability of in-time alarm delivery by at least 7% with a network size of 40 subnetworks, while the gain increases to 21% when the number of subnetworks increases to 60.