Interruption-Aware Recurrent Reinforcement Learning for UAS Navigation Under Temporary Overrides
作者: Christopher Conrad, Deepak Panda, Weisi Guo, Antonios Tsourdos
分类: cs.AI, cs.RO
发布日期: 2026-10-20
备注: This work has been submitted to IEEE for possible publication
💡 一句话要点
提出中断感知递归强化学习以解决UAS导航中的临时覆盖问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无人机导航 递归强化学习 中断感知 安全性 自主系统
📋 核心要点
- 现有方法在无人机自主导航中面临部分可观测性带来的挑战，尤其是在数据缺失或延迟的情况下。
- 论文提出三种中断感知架构，旨在通过条件递归处理来增强对中断上下文的适应性。
- 实验结果表明，所提架构在减少后续碰撞和任务失败方面表现优异，相较于基线提升显著。
📝 摘要（中文）
安全的无人机自主导航需要战术冲突解决，以应对战略协调无法预防的冲突。在部分可观测性下，传感器或交通数据的缺失、延迟或降级使得这一任务更加复杂。基于几何的方法虽然可以提供分离保障，但在密集遭遇中存在局限性。递归强化学习被提出用于学习导航策略，整合观察-行动历史以优化长期安全与效率的权衡。然而，操作保障可能需要远程飞行员、机载检测与规避系统或运行时保障机制来临时覆盖学习的策略。研究表明，这些中断会影响递归策略的表现，增加后续碰撞风险。为此，本文提出三种中断感知架构，通过独立特征流、专用中断记忆或门控环境特征来调节递归处理。实验结果显示，这些架构在保持无中断性能的同时，显著提高了任务信息的可解码性。
🔬 方法详解
问题定义：本文旨在解决无人机自主导航中因临时覆盖导致的递归策略性能下降问题。现有方法在中断后恢复时，碰撞风险增加且任务变量的可解码性降低。
核心思路：提出的中断感知架构通过引入中断上下文信息，增强了递归神经网络对历史信息的处理能力，从而提高了在中断后的恢复性能。
技术框架：整体架构包括三个主要模块：独立特征流、专用中断记忆和门控环境特征。这些模块共同作用于递归处理，确保在中断期间和恢复后都能有效利用信息。
关键创新：最重要的技术创新在于通过中断上下文条件化递归处理，显著提高了任务信息的可解码性，并有效降低了中断后碰撞风险。
关键设计：在网络结构上，采用了多流输入设计，确保不同类型的信息能够被有效处理。损失函数设计上，重点关注中断期间的性能保持与恢复后的安全性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提三种中断感知架构在任务信息可解码性上均优于标准递归策略。其中，最强架构在减少后续碰撞风险方面降低了74%，任务失败率降低了69%，且未影响无中断情况下的性能表现。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在无人机自主飞行、交通管理和紧急响应等领域。通过提高无人机在复杂环境中的安全性和可靠性，能够促进无人机技术在商业和公共服务中的应用，提升整体效率和安全性。
📄 摘要（原文）
Safe autonomous navigation of UASs requires tactical deconfliction to address conflicts that strategic coordination cannot prevent. This task is challenging under partial observability, when sensor or traffic data are missing, delayed, or degraded. Geometry-based methods can offer separation assurances but face limitations in dense encounters. Recurrent reinforcement learning has therefore been proposed to learn navigation policies that integrate observation-action histories to optimise long-term safety-efficiency trade-offs. However, operational safeguards may require a remote pilot, onboard detect-and-avoid system, or runtime assurance mechanism to temporarily override the learned policy. A research gap remains in understanding how these interruptions affect recurrent policies when the agent regains authority. Benchmark evidence shows that interruptions make task variables less decodable from the recurrent hidden state and increase post-interruption collision risk. The findings suggest that altered recurrent context prolongs post-handback degradation through an action-observation feedback loop, in which changed actions alter the flight path and subsequent recurrent updates. To address this vulnerability, we propose three interruption-aware architectures that condition recurrent processing on interruption context through separate feature streams, dedicated interruption memory, or gated environmental features. Across simulations, all three architectures preserve more decodable task information than a standard recurrent policy. Moreover, the strongest architecture reduces post-interruption collisions by 74% and interruption-induced mission failures by 69% relative to the recurrent baseline, without degrading interruption-free performance. These results show that safe interruption does not guarantee safe handback, and support interruption-aware recurrent design for resilient UAS autonomy.