Learning Geometry-Aware Planning Representations for Monocular Flight with Cross-Modal Supervision

📄 arXiv: 2610.26508v1 📥 PDF

作者: Wencan Feng, Bailing Tian, Yulin Hui, Zhiyu Li, Junjie Lu

分类: cs.RO

发布日期: 2026-10-19

💡 一句话要点

提出几何感知单目飞行规划框架以解决高速度导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 几何感知 单目视觉 跨模态蒸馏 无人机导航 轨迹规划 深度学习 避障技术

📋 核心要点

  1. 现有的高速度导航系统依赖深度传感器，单目相机在获取几何信息方面存在挑战。
  2. 提出的框架通过跨模态蒸馏将深度专家的特征转移到单目规划器，增强几何感知能力。
  3. 在模拟环境中训练的规划器能够在真实环境中实现高达6.5 m/s的避障，且无需微调。

📝 摘要（中文）

现有的微型无人机高速度导航系统通常依赖深度相机、立体视觉或激光雷达获取几何信息，而单目相机则提供了更轻便和低成本的替代方案。然而，单目飞行面临挑战，因为RGB图像缺乏直接的度量线索，且视觉外观在不同环境中变化显著。本文提出了一种几何感知的单目视觉规划框架，该框架通过跨模态蒸馏将深度专家学习到的与规划相关的特征转移到RGB规划器，从而在不显式重建深度的情况下，增强下游规划目标的几何监督。该框架首先训练一个基于深度的几何专家，然后利用配对的RGB-D观测将其规划特征蒸馏到单目分支，最后将规划器适应于下游轨迹规划目标。该设计促使策略学习与规划相关的几何特征，从而实现避障。我们进一步使用3D高斯点云模拟器进行数据收集和模拟评估，训练出的规划器在真实环境中无需微调即可实现高达6.5 m/s的避障能力。

🔬 方法详解

问题定义：本文旨在解决单目相机在高速度飞行中的几何信息缺失问题。现有方法依赖深度传感器，导致系统重量和成本增加。

核心思路：提出的几何感知单目视觉规划框架通过跨模态蒸馏技术，将深度专家学习到的特征转移到单目规划器，从而在不重建深度的情况下增强规划能力。

技术框架：该框架包括三个主要阶段：首先训练一个基于深度的几何专家；然后利用配对的RGB-D观测将其特征蒸馏到单目分支；最后将规划器适应于下游轨迹规划目标。

关键创新：最重要的创新在于通过跨模态蒸馏实现了深度信息的有效利用，显著提升了单目相机在复杂环境中的规划能力。

关键设计：在训练过程中，采用了特定的损失函数来优化特征蒸馏效果，并设计了适应性强的网络结构，以便在不同环境中保持良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，训练出的规划器在真实环境中无需微调即可实现高达6.5 m/s的避障能力，相较于传统方法，提升了规划效率和安全性，展示了跨模态蒸馏在单目视觉规划中的有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机自主导航、智能交通系统和机器人探索等。通过降低对昂贵传感器的依赖，能够显著降低系统成本，提高无人机在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing high-speed navigation systems for micro aerial vehicles (MAVs) commonly rely on depth cameras, stereo vision, or LiDAR to obtain explicit geometric information, while monocular cameras offer a lighter and lower-cost alternative. However, monocular flight remains challenging because RGB images offer no direct metric cues and visual appearance varies considerably across environments. We propose a geometry-aware monocular visual planning framework that predicts trajectories from two image frames, their relative pose, and the MAV state. Without explicitly reconstructing depth, the proposed method complements the downstream planning objective with feature-level geometric supervision by transferring the planning-relevant representation learned by a privileged depth expert to the RGB planner through cross-modal distillation. The framework first trains a depth-based geometric expert, then distills its planning features into a monocular branch using paired RGB-D observations, and finally adapts the planner to the downstream trajectory planning objective. This design encourages the policy to learn planning-relevant geometric features, enabling collision avoidance. We further use a 3D Gaussian Splatting (3DGS) simulator to render visual observations for data collection, paired RGB-D supervision, and simulation evaluation. The planner trained in simulation is then deployed in real-world environments without real-world fine-tuning, achieving obstacle avoidance at speeds of up to 6.5 m/s.