UAV-assisted Internet of Vehicles: A Framework Empowered by Reinforcement Learning and Blockchain

📄 arXiv: 2502.15713v1 📥 PDF

作者: Ahmed Alagha, Maha Kadadha, Rabeb Mizouni, Shakti Singh, Jamal Bentahar, Hadi Otrok

分类: cs.NI, cs.AI

发布日期: 2025-01-22

DOI: 10.1016/j.vehcom.2025.100874

💡 一句话要点

提出基于强化学习和区块链的无人机辅助车联网框架，实现可信赖的中继选择与协同。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无人机辅助车联网 强化学习 区块链 多智能体系统 中继选择 无人机协同 近端策略优化

📋 核心要点

  1. 现有无人机辅助车联网中继选择缺乏可追溯性，协同机制中心化且与选择分离，难以适应复杂环境。
  2. 提出基于强化学习和区块链的框架，耦合中继选择和协同，利用区块链保证透明可信，强化学习实现自主协同。
  3. 实验结果表明，该框架能有效提高中继稳定性，最大化无人机覆盖率和连通性，验证了方案的有效性。

📝 摘要（中文）

本文旨在解决无人机辅助车联网(IoV)中继节点选择和协同的挑战。现有的IoV中无人机中继选择机制要么在中心化服务器上执行，要么在去中心化节点上执行，存在两个主要限制：1)选择机制执行的可追溯性；2)所选无人机之间的协同，目前以中心化方式提供，并且与中继选择没有耦合。现有的无人机协同方法通常依赖于优化方法（不适应不同的环境复杂性）或中心化深度强化学习（在多无人机设置中缺乏可扩展性）。因此，需要一个综合框架，将中继选择和协同耦合，并以透明和可信的方式执行。本文提出了一个基于强化学习和区块链的无人机辅助IoV网络框架，包含三个主要组成部分：用于无人机辅助IoV的双边无人机中继选择机制、用于自主无人机协同的去中心化多智能体深度强化学习(MDRL)模型，以及用于车辆和无人机之间交互的透明性和可追溯性的区块链实现。中继选择基于无人机质量(QoU)和车辆质量(QoV)考虑车辆和无人机的双边偏好。在选择中继无人机后，通过训练MDRL模型来控制它们的移动性，并使用近端策略优化(PPO)来维持网络覆盖和连通性，从而实现它们之间的去中心化协同。评估结果表明，所提出的选择和协同机制提高了所选继电器的稳定性，并最大限度地提高了无人机实现的覆盖率和连通性。

🔬 方法详解

问题定义：现有无人机辅助车联网中，中继节点的选择和协同存在以下痛点：一是选择机制缺乏透明性和可追溯性，容易出现信任问题；二是无人机之间的协同通常采用中心化方式，难以扩展到大规模无人机网络，且与中继选择过程分离；三是现有优化方法难以适应动态变化的车联网环境。

核心思路：本文的核心思路是将中继选择和无人机协同进行耦合，并利用区块链技术保证选择过程的透明性和可信性。同时，采用去中心化的多智能体强化学习方法，使无人机能够自主地进行协同，从而提高网络的覆盖率和连通性。这种设计旨在解决现有方法的局限性，提高无人机辅助车联网的效率和可靠性。

技术框架：该框架包含三个主要模块：1) 双边无人机中继选择机制：基于车辆和无人机的双边偏好（QoU和QoV）进行中继选择；2) 去中心化多智能体深度强化学习(MDRL)模型：用于无人机之间的自主协同，通过训练控制无人机的移动，维持网络覆盖和连通性；3) 区块链实现：用于记录车辆和无人机之间的交互，保证透明性和可追溯性。

关键创新：该论文的关键创新在于：1) 提出了一个耦合中继选择和无人机协同的完整框架；2) 采用去中心化的多智能体强化学习方法，实现了无人机的自主协同；3) 利用区块链技术保证了选择过程的透明性和可信性。与现有方法相比，该框架更加全面、灵活和可信。

关键设计：在MDRL模型中，使用了Proximal Policy Optimization (PPO)算法进行训练，以控制无人机的移动。奖励函数的设计考虑了网络的覆盖率和连通性，鼓励无人机扩展覆盖范围并保持与其他无人机的连接。区块链的实现采用了联盟链的结构，参与者包括车辆和无人机，通过共识机制保证数据的安全性和一致性。QoU和QoV的具体计算方式未知，但应包含带宽、延迟、距离等因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的选择和协同机制的有效性。实验结果表明，该机制能够提高所选继电器的稳定性，并最大化无人机实现的覆盖率和连通性。具体的性能数据和对比基线未知，但摘要明确指出该机制能够带来显著的性能提升。

🎯 应用场景

该研究成果可应用于多种场景，例如：灾难救援、智能交通、物流配送等。在灾难救援中，无人机可以作为临时的通信中继，为救援人员提供可靠的通信保障。在智能交通中，无人机可以辅助车辆进行导航和交通管理，提高交通效率。在物流配送中，无人机可以实现快速、高效的货物运输，降低物流成本。该研究具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

This paper addresses the challenges of selecting relay nodes and coordinating among them in UAV-assisted Internet-of-Vehicles (IoV). The selection of UAV relay nodes in IoV employs mechanisms executed either at centralized servers or decentralized nodes, which have two main limitations: 1) the traceability of the selection mechanism execution and 2) the coordination among the selected UAVs, which is currently offered in a centralized manner and is not coupled with the relay selection. Existing UAV coordination methods often rely on optimization methods, which are not adaptable to different environment complexities, or on centralized deep reinforcement learning, which lacks scalability in multi-UAV settings. Overall, there is a need for a comprehensive framework where relay selection and coordination are coupled and executed in a transparent and trusted manner. This work proposes a framework empowered by reinforcement learning and Blockchain for UAV-assisted IoV networks. It consists of three main components: a two-sided UAV relay selection mechanism for UAV-assisted IoV, a decentralized Multi-Agent Deep Reinforcement Learning (MDRL) model for autonomous UAV coordination, and a Blockchain implementation for transparency and traceability in the interactions between vehicles and UAVs. The relay selection considers the two-sided preferences of vehicles and UAVs based on the Quality-of-UAV (QoU) and the Quality-of-Vehicle (QoV). Upon selection of relay UAVs, the decentralized coordination between them is enabled through an MDRL model trained to control their mobility and maintain the network coverage and connectivity using Proximal Policy Optimization (PPO). The evaluation results demonstrate that the proposed selection and coordination mechanisms improve the stability of the selected relays and maximize the coverage and connectivity achieved by the UAVs.