TACO: General Acrobatic Flight Control via Target-and-Command-Oriented Reinforcement Learning

📄 arXiv: 2503.01125v3 📥 PDF

作者: Zikang Yin, Canlun Zheng, Shiliang Guo, Zhikun Wang, Shiyu Zhao

分类: cs.RO

发布日期: 2025-03-03 (更新: 2025-03-07)

备注: For the experiment video, please refer to https://youtu.be/x1v7nD2iHIk

💡 一句话要点

提出TACO框架，通过目标与指令导向强化学习实现通用无人机特技飞行控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无人机控制 强化学习 特技飞行 目标导向 指令导向 谱归一化 Sim-to-Real

📋 核心要点

  1. 现有特技飞行控制方法通常受限于特定任务，无法在线调整飞行参数，限制了其通用性和灵活性。
  2. TACO框架采用目标与指令导向的强化学习，统一处理不同机动任务，并支持在线参数调整，提升了控制器的泛化能力。
  3. 通过仿真和真实飞行实验，验证了TACO在高速圆周飞行和连续翻转等复杂特技动作中的有效性，缩小了仿真与现实的差距。

📝 摘要（中文）

本文提出了一种目标与指令导向的强化学习框架（TACO），用于解决无人机特技飞行控制问题。现有方法通常局限于特定的机动任务，且无法在线更改飞行模式参数。TACO能够以统一的方式处理不同的机动任务，并允许在线参数调整。此外，本文提出了一种具有输入-输出重缩放的谱归一化方法，以增强策略的时间和空间平滑性、独立性和对称性，从而克服了从仿真到现实的差距。通过广泛的仿真和真实实验验证了TACO方法的有效性，证明了其实现高速圆周飞行和连续多重翻转的能力。

🔬 方法详解

问题定义：现有无人机特技飞行控制方法通常针对特定机动动作设计，缺乏通用性，难以适应新的飞行任务或在线调整飞行参数。这限制了无人机在复杂环境和动态任务中的应用。现有方法在仿真环境训练的策略，难以直接应用于真实无人机，存在较大的sim-to-real gap。

核心思路：TACO的核心思路是将特技飞行控制问题分解为目标导向和指令导向两个部分。目标导向部分负责根据期望的飞行轨迹（例如，圆周飞行或翻转）生成目标状态；指令导向部分则负责根据当前状态和目标状态生成控制指令。通过强化学习训练一个能够同时处理目标和指令的策略网络，从而实现通用的特技飞行控制。

技术框架：TACO框架主要包含以下几个模块：1) 环境模型：用于模拟无人机的动力学特性；2) 目标生成器：根据期望的飞行轨迹生成目标状态；3) 策略网络：根据当前状态、目标状态和指令生成控制指令；4) 奖励函数：用于评估无人机的飞行性能。整个训练流程采用强化学习算法，例如PPO，通过不断与环境交互，优化策略网络，使其能够实现期望的特技飞行动作。

关键创新：TACO的关键创新在于其目标与指令导向的强化学习框架，以及提出的谱归一化方法。目标与指令导向的设计使得策略网络能够同时学习到目标和指令之间的关系，从而实现通用的特技飞行控制。谱归一化方法通过对策略网络的输入和输出进行重缩放，增强了策略的时间和空间平滑性、独立性和对称性，从而有效地缩小了sim-to-real gap。

关键设计：TACO的关键设计包括：1) 策略网络结构：采用多层感知机或循环神经网络，输入包括当前状态、目标状态和指令，输出为控制指令；2) 奖励函数设计：综合考虑无人机的飞行速度、姿态、轨迹跟踪误差等因素，设计一个能够有效引导无人机学习期望动作的奖励函数；3) 谱归一化方法：通过对策略网络的权重矩阵进行谱分解，并对奇异值进行归一化，从而增强策略的平滑性和鲁棒性。输入-输出重缩放则进一步提升了策略的性能。

📊 实验亮点

实验结果表明，TACO框架在仿真和真实飞行实验中均取得了良好的效果。在高速圆周飞行和连续多重翻转等复杂特技动作中，TACO能够实现稳定、精确的控制。与传统的PID控制方法相比，TACO能够更好地适应不同的机动任务，并具有更强的鲁棒性。通过谱归一化方法，TACO有效地缩小了sim-to-real gap，使得在仿真环境训练的策略能够直接应用于真实无人机。

🎯 应用场景

TACO框架具有广泛的应用前景，可应用于无人机表演、搜救、侦察等领域。通过在线调整飞行参数，无人机可以适应不同的任务需求和环境条件。该研究成果有助于推动无人机智能化发展，提升无人机在复杂环境下的自主飞行能力，并为其他机器人控制任务提供借鉴。

📄 摘要（原文）

Although acrobatic flight control has been studied extensively, one key limitation of the existing methods is that they are usually restricted to specific maneuver tasks and cannot change flight pattern parameters online. In this work, we propose a target-and-command-oriented reinforcement learning (TACO) framework, which can handle different maneuver tasks in a unified way and allows online parameter changes. Additionally, we propose a spectral normalization method with input-output rescaling to enhance the policy's temporal and spatial smoothness, independence, and symmetry, thereby overcoming the sim-to-real gap. We validate the TACO approach through extensive simulation and real-world experiments, demonstrating its capability to achieve high-speed circular flights and continuous multi-flips.