Back to Newton's Laws: Learning Vision-based Agile Flight via Differentiable Physics
作者: Yuang Zhang, Yu Hu, Yunlong Song, Danping Zou, Weiyao Lin
分类: cs.RO
发布日期: 2024-07-15 (更新: 2024-07-16)
期刊: Nature Machine Intellegence 2025
DOI: 10.1038/s42256-025-01048-0
💡 一句话要点
基于可微物理的视觉敏捷飞行学习，实现高速无人机集群自主导航
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 无人机集群 自主导航 可微物理 深度学习 sim-to-real 敏捷飞行 强化学习
📋 核心要点
- 现有无人机集群导航方法在复杂环境和高速运动下存在不足，难以实现自主协调和实时性。
- 该论文利用可微物理引擎，结合深度学习直接优化控制策略，实现无人机在复杂环境中的敏捷飞行。
- 实验结果表明，该方法在多智能体和单智能体导航任务中均取得了显著提升，并成功进行了sim-to-real迁移。
📝 摘要（中文）
本文提出了一种结合深度学习和第一性原理物理的方法，通过可微仿真实现多架无人机在复杂环境中高速自主导航。该方法利用简单的质点物理模型和深度渲染引擎，通过机器人仿真反向传播损失梯度，直接优化神经网络控制策略。该方法在多智能体和单智能体应用中均表现出色，实现了零样本的sim-to-real迁移。在多智能体场景中，该系统展示了自组织行为，无需通信或集中式规划即可实现自主协调。在单智能体场景中，该系统在复杂环境中的导航成功率达到90%，显著超过了先前最先进方法的60%。该系统无需状态估计，能够适应动态障碍物。在真实森林环境中，其导航速度高达20米/秒，是先前基于模仿学习的解决方案的两倍。所有这些功能都部署在一个经济实惠的21美元的计算机上，成本低于现有系统中使用的配备GPU的板卡的5%。
🔬 方法详解
问题定义：现有无人机集群导航方法，尤其是在复杂和动态环境中，面临着自主协调、实时性和鲁棒性方面的挑战。传统的基于规划的方法计算复杂度高，难以适应高速运动和未知环境。基于学习的方法通常需要大量的真实数据，且泛化能力有限。现有方法往往依赖昂贵的传感器和计算平台，限制了其应用范围。
核心思路：该论文的核心思路是将深度学习与第一性原理物理相结合，通过可微仿真来优化无人机的控制策略。通过构建一个可微的物理引擎，可以将控制策略的优化过程嵌入到物理仿真中，从而利用梯度信息来指导策略的学习。这种方法可以有效地利用物理知识，提高策略的泛化能力和鲁棒性。
技术框架：该方法主要包含以下几个模块：1) 深度神经网络控制策略：输入视觉信息，输出无人机的控制指令。2) 可微物理引擎：基于简单的质点模型，模拟无人机的运动和环境交互。3) 深度渲染引擎：将仿真环境渲染成视觉图像，作为控制策略的输入。4) 损失函数：定义无人机的导航目标，例如避障、到达目标点等。整个框架通过反向传播算法，将损失函数的梯度传递到控制策略中，从而优化策略的参数。
关键创新：该论文最重要的技术创新点在于利用可微物理引擎进行控制策略的优化。通过将物理仿真嵌入到学习过程中，可以有效地利用物理知识，提高策略的泛化能力和鲁棒性。此外，该方法还实现了零样本的sim-to-real迁移，这意味着可以在仿真环境中训练策略，然后直接部署到真实环境中，而无需进行额外的训练。
关键设计：该方法使用了一个简单的质点物理模型，以降低计算复杂度。损失函数的设计考虑了避障、到达目标点和控制平滑性等因素。神经网络的结构相对简单，以适应低功耗的计算平台。为了实现sim-to-real迁移，该方法采用了随机化的仿真环境，例如随机的障碍物位置、光照条件等。
🖼️ 关键图片
📊 实验亮点
该系统在单智能体导航任务中取得了90%的成功率，显著优于先前最先进方法的60%。在真实森林环境中，其导航速度高达20米/秒，是先前基于模仿学习的解决方案的两倍。更重要的是，所有这些功能都部署在一个成本仅为21美元的计算机上，展示了极高的性价比。
🎯 应用场景
该研究成果可应用于物流配送、灾害救援、环境监测等领域。低成本、高效率的无人机集群自主导航技术，能够显著提升这些应用场景的效率和安全性。未来，该技术有望进一步扩展到更复杂的机器人系统，例如自动驾驶汽车和智能制造。
📄 摘要（原文）
Swarm navigation in cluttered environments is a grand challenge in robotics. This work combines deep learning with first-principle physics through differentiable simulation to enable autonomous navigation of multiple aerial robots through complex environments at high speed. Our approach optimizes a neural network control policy directly by backpropagating loss gradients through the robot simulation using a simple point-mass physics model and a depth rendering engine. Despite this simplicity, our method excels in challenging tasks for both multi-agent and single-agent applications with zero-shot sim-to-real transfer. In multi-agent scenarios, our system demonstrates self-organized behavior, enabling autonomous coordination without communication or centralized planning - an achievement not seen in existing traditional or learning-based methods. In single-agent scenarios, our system achieves a 90% success rate in navigating through complex environments, significantly surpassing the 60% success rate of the previous state-of-the-art approach. Our system can operate without state estimation and adapt to dynamic obstacles. In real-world forest environments, it navigates at speeds up to 20 m/s, doubling the speed of previous imitation learning-based solutions. Notably, all these capabilities are deployed on a budget-friendly $21 computer, costing less than 5% of a GPU-equipped board used in existing systems. Video demonstrations are available at https://youtu.be/LKg9hJqc2cc.