DR-MPC: Deep Residual Model Predictive Control for Real-world Social Navigation

📄 arXiv: 2410.10646v2 📥 PDF

作者: James R. Han, Hugues Thomas, Jian Zhang, Nicholas Rhinehart, Timothy D. Barfoot

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-10-14 (更新: 2025-02-14)

备注: 8 pages, 8 figures, accepted to IEEE Robotics and Automation Letters (RA-L) February 2025

💡 一句话要点

提出DR-MPC，融合深度强化学习与模型预测控制，解决真实场景社交导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 社交导航 深度强化学习 模型预测控制 残差学习 人机交互

📋 核心要点

  1. 现有基于DRL的社交导航方法依赖于无法捕捉真实人类运动细微之处的模拟器，导致泛化能力不足。
  2. DR-MPC融合MPC与无模型DRL，利用MPC进行初始化，并逐步学习与人类交互，克服了DRL数据需求大和初始行为不安全的难题。
  3. 实验结果表明，DR-MPC在仿真和真实机器人上均优于传统DRL方法，仅需少量训练数据即可实现安全导航。

📝 摘要（中文）

本文提出了一种深度残差模型预测控制（DR-MPC）方法，旨在使机器人能够利用真实世界的拥挤导航数据快速且安全地执行深度强化学习（DRL）。通过将模型预测控制（MPC）与无模型的DRL相结合，DR-MPC克服了DRL对大量数据需求以及初始行为不安全的挑战。DR-MPC首先使用基于MPC的路径跟踪进行初始化，然后逐渐学习与人类更有效地交互。为了进一步加速学习，一个安全组件估计超出分布的状态，引导机器人远离可能的碰撞。在仿真中，实验结果表明DR-MPC显著优于传统DRL和残差DRL模型。硬件实验表明，我们的方法成功地使机器人能够在各种拥挤情况下导航，使用不到4小时的训练数据，且误差较少。

🔬 方法详解

问题定义：论文旨在解决机器人在真实世界中复杂人群环境下的安全导航问题。现有基于深度强化学习的方法通常依赖于模拟环境进行训练，但模拟环境难以准确捕捉真实人类的行为模式，导致模型在真实场景中的泛化能力较差。此外，深度强化学习需要大量数据进行训练，并且初始探索阶段可能存在不安全行为。

核心思路：论文的核心思路是将模型预测控制（MPC）与深度强化学习（DRL）相结合，形成深度残差模型预测控制（DR-MPC）。MPC提供初始的安全导航策略，DRL则通过与环境交互不断学习优化，从而克服DRL数据需求大和初始行为不安全的缺点。通过残差学习的方式，DRL学习MPC的不足之处，从而实现更高效的策略学习。

技术框架：DR-MPC的整体框架包含以下几个主要模块：1) 基于MPC的路径跟踪器：提供初始的安全导航策略。2) 深度强化学习模块：学习残差控制量，优化导航策略。3) 安全组件：估计超出分布的状态，引导机器人远离可能的碰撞。在训练过程中，首先使用MPC进行初始化，然后利用DRL学习残差控制量，并使用安全组件进行约束，最终实现安全高效的社交导航。

关键创新：DR-MPC的关键创新在于将MPC与DRL相结合，利用MPC提供初始的安全策略，并利用DRL学习残差控制量，从而克服了DRL数据需求大和初始行为不安全的缺点。此外，安全组件的设计也提高了算法的安全性。与传统的DRL方法相比，DR-MPC能够更快地学习到有效的导航策略，并且在真实场景中具有更好的泛化能力。

关键设计：DR-MPC的关键设计包括：1) 残差学习：DRL学习的是MPC的残差控制量，而不是直接学习整个控制量，从而降低了学习难度。2) 安全组件：使用高斯过程回归估计超出分布的状态，并根据估计结果调整控制量，从而避免碰撞。3) 损失函数：损失函数包括导航效率、安全性以及与人类舒适度的相关项，从而保证机器人能够安全、高效、舒适地进行导航。网络结构使用了常见的深度神经网络结构，具体参数根据实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DR-MPC在仿真环境中显著优于传统DRL和残差DRL模型。在真实机器人实验中，DR-MPC仅使用不到4小时的训练数据，即可成功地在各种拥挤情况下导航，且误差较少。与基线方法相比，DR-MPC在导航成功率、碰撞率和导航时间等方面均有显著提升。

🎯 应用场景

DR-MPC具有广泛的应用前景，例如：服务机器人可以在商场、医院等拥挤环境中安全地为人们提供服务；自动驾驶汽车可以在城市道路上安全地与行人和其他车辆交互；无人机可以在城市环境中安全地进行巡检和配送。该研究成果有助于提升机器人在复杂动态环境中的自主导航能力，促进人机协作的进一步发展。

📄 摘要（原文）

How can a robot safely navigate around people with complex motion patterns? Deep Reinforcement Learning (DRL) in simulation holds some promise, but much prior work relies on simulators that fail to capture the nuances of real human motion. Thus, we propose Deep Residual Model Predictive Control (DR-MPC) to enable robots to quickly and safely perform DRL from real-world crowd navigation data. By blending MPC with model-free DRL, DR-MPC overcomes the DRL challenges of large data requirements and unsafe initial behavior. DR-MPC is initialized with MPC-based path tracking, and gradually learns to interact more effectively with humans. To further accelerate learning, a safety component estimates out-of-distribution states to guide the robot away from likely collisions. In simulation, we show that DR-MPC substantially outperforms prior work, including traditional DRL and residual DRL models. Hardware experiments show our approach successfully enables a robot to navigate a variety of crowded situations with few errors using less than 4 hours of training data.