Performance-Guided Refinement for Visual Aerial Navigation using Editable Gaussian Splatting in FalconGym 2.0

📄 arXiv: 2510.02248v1 📥 PDF

作者: Yan Miao, Ege Yuceel, Georgios Fainekos, Bardh Hoxha, Hideki Okamoto, Sayan Mitra

分类: cs.RO

发布日期: 2025-10-02

💡 一句话要点

提出基于可编辑高斯溅射和性能引导优化的视觉无人机导航方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉导航 无人机 高斯溅射 模拟训练 性能引导优化 零样本迁移 强化学习 FalconGym

📋 核心要点

  1. 现有视觉导航策略易过拟合特定轨迹，泛化能力差，难以适应轨迹变化。
  2. 提出性能引导优化（PGR）算法，利用可编辑高斯溅射模拟器FalconGym 2.0，针对性训练策略。
  3. 实验表明，PGR训练的策略在泛化性、鲁棒性和零样本迁移到真实环境方面均优于现有方法。

📝 摘要（中文）

视觉策略设计对于无人机导航至关重要。然而，目前最先进的视觉策略通常过度拟合单个轨迹，并且当轨迹几何形状发生变化时，其性能会下降。本文开发了FalconGym 2.0，这是一个基于高斯溅射（GSplat）的逼真模拟框架，具有编辑API，可以毫秒级地以编程方式生成各种静态和动态轨迹。利用FalconGym 2.0的可编辑性，我们提出了一种性能引导优化（PGR）算法，该算法将视觉策略的训练集中在具有挑战性的轨迹上，同时迭代地提高其性能。在具有不同动力学和环境的两个案例研究（固定翼无人机和四旋翼无人机）中，我们表明，在FalconGym 2.0中使用PGR训练的单个视觉策略在泛化性和鲁棒性方面优于最先进的基线：它可以推广到三个未见过的轨迹，成功率达到100％，而无需进行每个轨迹的重新训练，并且在门姿态扰动下保持更高的成功率。最后，我们证明了在FalconGym 2.0中使用PGR训练的视觉策略可以零样本迁移到四旋翼硬件，在跨越两个三门轨迹和一个移动门轨迹的30次试验中，成功率达到98.6％（69/70个门）。

🔬 方法详解

问题定义：现有视觉导航策略在面对新的或变化的轨迹时，性能显著下降，缺乏泛化能力。主要原因是这些策略过度拟合了训练时使用的特定轨迹，无法适应轨迹几何形状的变化。此外，真实环境中的扰动也会导致性能下降。

核心思路：本文的核心思路是利用一个可编辑的、逼真的模拟环境（FalconGym 2.0）来生成各种具有挑战性的轨迹，并使用性能引导优化（PGR）算法来训练视觉策略。PGR算法会根据策略在不同轨迹上的表现，动态调整训练的重点，使策略能够更好地适应各种轨迹和扰动。

技术框架：整体框架包括三个主要部分：1) FalconGym 2.0模拟环境，用于生成各种静态和动态轨迹；2) 视觉策略网络，用于根据视觉输入控制无人机的运动；3) 性能引导优化（PGR）算法，用于迭代地训练和改进视觉策略。PGR算法首先在初始轨迹集上训练策略，然后评估策略在不同轨迹上的性能，并根据性能指标选择具有挑战性的轨迹，增加这些轨迹在训练中的权重，从而使策略能够更好地适应这些轨迹。

关键创新：最重要的技术创新点在于将可编辑的高斯溅射模拟环境与性能引导优化算法相结合。FalconGym 2.0能够快速生成各种逼真的轨迹，为策略的训练提供了丰富的数据。PGR算法能够根据策略的性能动态调整训练的重点，从而有效地提高策略的泛化能力和鲁棒性。与现有方法相比，该方法不需要针对每个轨迹进行重新训练，并且能够更好地适应真实环境中的扰动。

关键设计：FalconGym 2.0使用高斯溅射（GSplat）技术来渲染逼真的场景，并提供了一个编辑API，可以以编程方式生成各种静态和动态轨迹。PGR算法使用成功率作为性能指标，并根据成功率调整不同轨迹在训练中的权重。视觉策略网络可以使用各种不同的网络结构，例如卷积神经网络（CNN）或循环神经网络（RNN）。损失函数可以使用各种不同的损失函数，例如均方误差（MSE）或交叉熵损失。

📊 实验亮点

实验结果表明，使用PGR算法在FalconGym 2.0中训练的视觉策略在泛化性和鲁棒性方面优于最先进的基线。该策略能够推广到三个未见过的轨迹，成功率达到100％，而无需进行每个轨迹的重新训练。在门姿态扰动下，该策略也保持了更高的成功率。此外，该策略还能够零样本迁移到真实四旋翼硬件，在30次试验中，成功率达到98.6％（69/70个门）。

🎯 应用场景

该研究成果可应用于各种无人机自主导航场景，例如物流配送、环境监测、灾害救援等。通过在模拟环境中进行充分的训练和优化，可以提高无人机在复杂环境中的导航能力，降低事故发生的风险，并提高工作效率。此外，该方法还可以应用于其他机器人导航领域，例如自动驾驶汽车和移动机器人。

📄 摘要（原文）

Visual policy design is crucial for aerial navigation. However, state-of-the-art visual policies often overfit to a single track and their performance degrades when track geometry changes. We develop FalconGym 2.0, a photorealistic simulation framework built on Gaussian Splatting (GSplat) with an Edit API that programmatically generates diverse static and dynamic tracks in milliseconds. Leveraging FalconGym 2.0's editability, we propose a Performance-Guided Refinement (PGR) algorithm, which concentrates visual policy's training on challenging tracks while iteratively improving its performance. Across two case studies (fixed-wing UAVs and quadrotors) with distinct dynamics and environments, we show that a single visual policy trained with PGR in FalconGym 2.0 outperforms state-of-the-art baselines in generalization and robustness: it generalizes to three unseen tracks with 100% success without per-track retraining and maintains higher success rates under gate-pose perturbations. Finally, we demonstrate that the visual policy trained with PGR in FalconGym 2.0 can be zero-shot sim-to-real transferred to a quadrotor hardware, achieving a 98.6% success rate (69 / 70 gates) over 30 trials spanning two three-gate tracks and a moving-gate track.