ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning

📄 arXiv: 2609.20982v1 📥 PDF

作者: Mohsen Salehi, Karthik Pattabiraman

分类: cs.LG, cs.CR, cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出ASGARD以解决无人机控制中的动作空间攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无人机控制 强化学习 动作空间攻击 教师-学生模型 鲁棒性 自主飞行 安全性

📋 核心要点

  1. 现有的强化学习控制器在无人机控制中容易受到动作空间攻击的影响，导致控制命令被篡改。
  2. 本文提出ASGARD，通过教师-学生管道设计，增强无人机控制系统对动作空间攻击的抵御能力。
  3. 实验结果显示，ASGARD在多种攻击场景下仍能完成任务，并对隐蔽攻击保持韧性，具有良好的泛化能力。

📝 摘要（中文）

近年来，强化学习（RL）控制器被广泛应用于无人机（UAV）的导航与控制。然而，这些控制器容易受到动作空间攻击的影响，这种攻击会在策略生成动作命令后、执行器执行之前覆盖这些命令。现有防御方法主要针对策略输入的攻击，而针对动作空间攻击的防御通常在训练时重新训练策略，无法在运行时抵御被破坏的动作。为此，本文提出了ASGARD，一个两阶段的教师-学生管道，使基于RL的无人机控制能够抵御动作空间攻击。在教师阶段，编码器结合无人机的物理状态与与攻击相关的特权信息，生成一个动作攻击感知的潜在表示，训练RL控制策略，并输出修正的动作命令。在学生阶段，编码器和监视器通过监督学习从教师对等体中训练，以便在无人机上仅使用物理状态历史进行运行。实验表明，ASGARD能够抵御动作空间攻击并完成任务，且对未见过的攻击具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决无人机控制中的动作空间攻击问题。现有方法多集中于策略输入的防御，缺乏对运行时被篡改的动作命令的有效应对。

核心思路：ASGARD采用两阶段的教师-学生管道设计，首先通过编码器生成动作攻击感知的潜在表示，训练RL控制策略；然后通过监督学习训练监视器，确保在无人机上仅依赖物理状态历史进行运行。

技术框架：ASGARD的整体架构分为教师阶段和学生阶段。在教师阶段，编码器结合物理状态与攻击信息生成潜在表示，并训练RL策略；监视器负责输出修正的动作命令。在学生阶段，编码器和监视器通过监督学习进行训练，以便在无人机上独立运行。

关键创新：ASGARD的主要创新在于其教师-学生结构，使得无人机控制系统能够在运行时抵御动作空间攻击，而不仅仅依赖于训练阶段的防御策略。

关键设计：在设计中，编码器的输入包括无人机的物理状态和攻击相关信息，损失函数通过监督学习优化编码器和监视器的性能，确保其在实际应用中的有效性。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ASGARD在面对多种动作空间攻击时，仍能成功完成任务，显示出其优越的韧性。与基线方法相比，ASGARD在未见过的攻击场景中表现出显著的性能提升，确保无人机在复杂环境中的稳定运行。

🎯 应用场景

ASGARD的研究成果在无人机自主飞行、军事侦察、灾害监测等领域具有广泛的应用潜力。通过增强无人机对攻击的抵御能力，可以提高其在复杂环境中的任务执行效率和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) controllers have been recently adopted for Unmanned Aerial Vehicles (UAV) navigation and control. However, they are susceptible to action-space attacks that overwrite the action commands after the policy generates them and before the actuators execute them. While most existing defenses target attacks on the policy's inputs, those addressing action-space attacks retrain the policy at training time and are not resilient to corrupted actions at runtime. We propose ASGARD, a two-phase teacher-student pipeline for making RL-based UAV control resilient to action-space attacks. In the teacher phase, an encoder combines the UAV's physical state with action-attack-related privileged information to produce an action-attack-aware latent that trains the RL control policy and a monitor that outputs corrected action commands to the actuators. In the student phase, both the encoder and the monitor are trained via supervised learning from their teacher counterparts to run on-board using only the UAV's physical state history. We evaluate ASGARD across attack scenarios targeting different action commands on UAV. We find that ASGARD is resilient to action-space attacks and completes the missions despite the attack. We further find that ASGARD generalizes to unseen attacks and remains resilient against stealthy attacks.