Learning Vision-Based Agile Gap Traversal: Differentiable Simulation with a Warm-Started Critic

📄 arXiv: 2609.30696v1 📥 PDF

作者: Nuthasith Gerdpratoom, Tianchen Sun, Yichao Gao, Lin Zhao

分类: cs.RO, eess.SY

发布日期: 2026-09-25

备注: 8 pages, 9 figures

💡 一句话要点

提出两阶段强化学习框架以提高自主四旋翼穿越狭窄间隙的效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 自主导航 四旋翼 强化学习 视觉运动控制 可微仿真 策略梯度 机器人学习

📋 核心要点

  1. 现有的间隙穿越方法依赖于行为克隆或全回放反向传播，导致性能受限和训练成本高。
  2. 提出的框架采用两阶段强化学习，结合准解析策略梯度和评论员热启动，提高训练效率。
  3. 实验证明，该方法在真实环境中实现了更高的穿越成功率和更好的泛化能力。

📝 摘要（中文）

穿越狭窄间隙对自主四旋翼而言是一项挑战，尤其是在控制命令直接来自高维视觉观测时。现有的端到端方法往往依赖行为克隆或通过可微仿真进行的全回放反向传播（BPTT），这限制了策略性能并增加了训练成本。本文提出了一种两阶段强化学习框架，利用可微仿真中的准解析策略梯度（QPG）和评论员的热启动，旨在提高自我中心视觉运动的间隙穿越策略训练效率。该框架通过QPG避免了视觉渲染的反向传播，从而降低了计算和内存成本，同时提高了样本效率。第一阶段中，使用特权观测训练专家演员和评论员，第二阶段则利用来自两个自我中心相机的二进制间隙掩码训练视觉策略，并从第一阶段热启动特权评论员。实验证明，该框架在训练效率和穿越成功率上显著优于冷启动评论员或使用全回放BPTT的方法。

🔬 方法详解

问题定义：本文旨在解决自主四旋翼在高维视觉观测下穿越狭窄间隙的挑战。现有方法如行为克隆和全回放反向传播存在性能和训练成本的限制。

核心思路：提出的两阶段强化学习框架通过利用准解析策略梯度（QPG）和评论员热启动，避免了视觉渲染的反向传播，从而提高了样本效率和训练速度。

技术框架：整体框架分为两个阶段：第一阶段训练专家演员和评论员，使用特权观测（如间隙几何信息）；第二阶段使用来自两个自我中心相机的二进制间隙掩码训练视觉策略，并从第一阶段热启动评论员。

关键创新：最重要的创新在于引入QPG以避免视觉渲染的反向传播，这与传统方法的全回放BPTT形成了本质区别，显著降低了计算和内存开销。

关键设计：在第一阶段，使用特权观测训练演员和评论员，第二阶段则利用低维观测和二进制掩码进行训练，确保评论员的热启动有效性，避免了在系统参数变化时需要重新训练专家演员。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的框架在真实环境中的穿越成功率显著提高，尤其是在使用二进制掩码的情况下。与冷启动评论员或全回放BPTT方法相比，训练效率提升了显著的百分比，展示了该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括无人机自主导航、机器人视觉控制和其他视觉运动学习任务。通过提高穿越狭窄间隙的能力，能够在复杂环境中实现更高效的自主操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Traversing narrow gaps is challenging for autonomous quadrotors, especially when control commands come directly from high-dimensional visual observations. Existing end-to-end methods often rely on behavior cloning or full-rollout backpropagation through time (BPTT) via differentiable simulation, which can limit policy performance or incur high training costs. We propose a two-stage reinforcement learning framework for more efficient ego-centric visuomotor gap-traversal policy training, leveraging quasi-analytical policy gradients (QPG) via differentiable simulation and critic warm-starting. The framework utilizes QPG to avoid backpropagation through visual rendering, reducing computation and memory costs while improving sample efficiency. In the first stage, an expert actor and critic are trained using privileged observations, including gap geometry. Unlike prior gap-traversal approaches, our training utilizing QPG does not require resetting the agent along optimized reference trajectories. In the second stage, a visual policy is trained using binary gap masks from two ego-centric cameras and low-dimensional observations, while its privileged critic is warm-started from the first stage. This substantially improves training efficiency and traversal success compared with cold-starting the critic or using full-rollout BPTT. Our framework does not require retraining the expert actor when system parameters change, enabling more efficient generalization across drone platforms than state-of-the-art visual gap-traversal methods based on action supervision. The learned visual policy also generalizes to gaps with unseen shapes. Extensive real-world experiments further demonstrate robust gap traversal using binary masks rendered online. Beyond gap traversal, the proposed framework is generic and can be extended to other visuomotor robot learning tasks.