Skytopia: Monocular Drone Navigation with Action-Conditioned Latent World Models
作者: Yuhang Zhang, Rangya Zhang, Yujing Shang, Zhuoyuan Yu, Weiying Wang, Steven Yang, Qingsong Yan, Chao Yan, Mir Feroskhan
分类: cs.RO, cs.AI
发布日期: 2026-09-22
💡 一句话要点
提出Skytopia以解决单目无人机导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目无人机导航 潜在世界模型 动作条件 3D高斯点云 自主导航 计算效率
📋 核心要点
- 现有的单目无人机导航方法在未知环境中面临深度和尺度信息不足的挑战。
- 本文提出Skytopia，通过动作条件的潜在世界模型来预测观察的表示，简化了导航过程。
- 实验结果显示，Skytopia在三种导航任务中成功率分别为57.8%、66.0%和49.0%，显著优于基线方法。
📝 摘要（中文）
单目无人机导航需要在未知环境中通过单个前向摄像头到达目标，这种方法对深度和尺度的线索有限。世界模型通过建模观察在动作下的演变来解决这一问题，但现有模型主要用于执行：预测在部署时产生，并在每个控制步骤中反馈到动作生成中。本文提出Skytopia，一个基于动作条件的潜在世界模型的策略，利用3D高斯点云平台进行训练。通过前向目标预测下一个观察的表示，并通过逆向目标从预测的转变中恢复运动。实验表明，Skytopia在三种导航任务中均优于所有基线，同时去除预测器减少了59.4%的推理成本。
🔬 方法详解
问题定义：本文旨在解决单目无人机在未知环境中导航时缺乏深度和尺度信息的问题。现有的世界模型主要用于执行，导致在每个控制步骤中都需要进行复杂的预测和反馈，增加了推理成本。
核心思路：Skytopia的核心思路是通过动作条件的潜在世界模型，直接预测下一个观察的表示，而不是依赖于复杂的预测过程。这种方法利用了飞行中执行的动作几乎解释了观察之间的所有变化，从而简化了导航任务。
技术框架：Skytopia的整体架构包括两个主要目标：前向目标用于从预期运动中预测下一个观察的表示，逆向目标则从预测的转变中恢复运动。通过这种方式，预测器被丢弃，单一策略可以处理点目标、图像目标和无目标导航。
关键创新：Skytopia的主要创新在于去除了传统世界模型中的预测环节，直接利用动作条件的表示来简化导航过程。这一设计使得模型在推理时的计算成本大幅降低。
关键设计：在模型设计中，关键参数包括动作条件的输入、损失函数的选择以及3D高斯点云的使用。这些设计确保了模型在不同导航任务中的有效性和灵活性。
🖼️ 关键图片
📊 实验亮点
Skytopia在三种不同的导航任务中均表现出色，成功率分别为57.8%、66.0%和49.0%，显著优于所有基线方法。此外，去除预测器后，推理成本降低了59.4%，显示出其在效率上的优势。
🎯 应用场景
Skytopia的研究成果在无人机导航、自动驾驶和机器人领域具有广泛的应用潜力。通过简化导航过程，该方法可以有效提高无人机在复杂环境中的自主导航能力，降低计算成本，推动无人机技术的实际应用和发展。
📄 摘要（原文）
Monocular drone navigation requires reaching a goal in an unseen environment from a single forward-facing camera, which offers few cues for depth and scale. World models address this by modelling how observations evolve under actions, but they are built to be executed: the prediction is produced at deployment and fed back into action generation at every control step. We argue that what a policy needs from a world model is not the prediction but the representation required to produce it: in flight the executed action explains almost all of the change between observations, so prediction reduces to reprojecting a static scene under a known displacement. We therefore introduce skytopia, a policy built on an action-conditioned latent world model, and the 3D Gaussian Splatting platform on which it is trained. A forward objective predicts the representation of the next observation from the intended motion, and an inverse objective recovers that motion from the predicted transition. Because the prediction never reaches action generation, the predictor is discarded and one policy serves point-goal, image-goal, and goal-free navigation. Simulation experiments show that skytopia outperforms every baseline under all three specifications, attaining 57.8%, 66.0%, and 49.0% success rate, while discarding the predictor removes 59.4% of the inference cost. The same policy is subsequently deployed on a physical drone without fine-tuning and reaches goals in indoor, open outdoor, and woodland environments.