Deadline-Aware Multi-Agent Reinforcement Learning for TSN-Based Vehicular Edge Networks

📄 arXiv: 2610.09870v1 📥 PDF

作者: Bernardo A. C. Pereira, Marcos Carvalho, Fatih Temiz, Shavbo Salehi, Melike Erol-Kantarci, Andreas Gavrielides, Johann M. Marquez-Barja, Daniel F. Macedo

分类: cs.NI, cs.AI

发布日期: 2026-10-07

💡 一句话要点

提出基于多智能体强化学习的调度方法以解决车载边缘网络中的延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车载边缘计算 多智能体强化学习 时间敏感网络 调度优化 延迟敏感应用

📋 核心要点

  1. 现有方法未能有效处理车载边缘网络中共存服务的网络竞争和动态延迟需求，导致调度效率低下。
  2. 本文提出了一种基于多智能体强化学习的调度方法，通过为每个TSN队列分配自主智能体，优化服务顺序和时间槽。
  3. 实验结果表明，MAPPO方法在不同交通条件下显著降低了服务延迟和提高了可靠性，相较于传统方法有显著提升。

📝 摘要（中文）

车载边缘计算（VEC）通过将计算和网络资源靠近车辆来支持延迟敏感的应用。然而，现有方法往往忽视了共存服务之间的网络竞争，尤其是在动态和异构延迟需求下。尽管时间敏感网络（TSN）提供了有界延迟通信，但传统和基于强化学习的调度器在高度动态的车载环境中难以适应。为了解决这些问题，本文提出了一种多智能体强化学习（MARL）方法，用于在TSN支持的VEC中进行队列级调度。每个TSN队列被分配一个自主智能体，联合学习队列服务顺序和时间槽持续时间，以最小化在速度依赖的延迟需求下的截止时间错过率。通过多智能体近端策略优化（MAPPO），实现了协调而自主的调度决策。与单智能体、多智能体和非学习基线的评估表明，MAPPO在不同交通特征下表现出色。与集中式单智能体方法相比，服务延迟减少了66.2%，可靠性提高了271.8%。

🔬 方法详解

问题定义：本文旨在解决车载边缘计算中由于网络竞争和动态延迟需求导致的调度效率低下问题。现有方法在高度动态的环境中难以适应，无法有效管理队列间的依赖关系。

核心思路：提出了一种多智能体强化学习（MARL）方法，通过为每个TSN队列分配一个自主智能体，使其能够联合学习调度策略，以最小化截止时间错过率。这样的设计能够更好地适应动态变化的网络环境。

技术框架：整体架构包括多个智能体，每个智能体负责一个TSN队列的调度。使用多智能体近端策略优化（MAPPO）算法，智能体之间进行协调学习，优化服务顺序和时间槽的分配。

关键创新：最重要的创新在于将多智能体强化学习应用于车载边缘网络的调度问题，能够在动态环境中实现高效的调度决策，区别于传统的集中式调度方法。

关键设计：在设计中，采用了MAPPO算法，设置了适应性强的损失函数，确保智能体能够在不同交通条件下进行有效学习和决策。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MAPPO方法在不同交通特征下表现优异，相较于单智能体方法，服务延迟减少了66.2%，可靠性提高了271.8%。此外，MAPPO在推理时间上也优于其他多智能体强化学习方法，确保了调度的平衡性和效率。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的通信与调度、以及车载服务的优化管理。通过提高调度效率和降低延迟，能够显著提升车载应用的用户体验和系统可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vehicular edge computing (VEC) enables latency-sensitive applications by bringing computing and networking resources closer to vehicles. However, existing approaches often overlook network contention among co-located services with heterogeneous and dynamic latency requirements. While time-sensitive networking (TSN) provides bounded-latency communication, conventional and reinforcement learning-based schedulers struggle to adapt to highly dynamic vehicular environments and inter-queue dependencies. To address these limitations, we propose a multi-agent reinforcement learning (MARL) approach for queue-level scheduling in TSN-enabled VEC. Each TSN queue is assigned an autonomous agent that jointly learns the queue service order and time-slot duration to minimize deadline misses under speed-dependent latency requirements. We employ multi-agent proximal policy optimization (MAPPO) to enable coordinated yet autonomous scheduling decisions. Evaluation against single-agent, multi-agent, and non-learning-based baselines shows that MAPPO provides robust performance across different traffic profiles. Compared with centralized single-agent methods, it reduces service latency by up to 66.2% and improves reliability by up to 271.8%. Furthermore, unlike urgency-based heuristics, MAPPO ensures balanced scheduling while achieving lower inference times compared to other MARL methods.