Resilient Legged Local Navigation: Learning to Traverse with Compromised Perception End-to-End
作者: Jin Jin, Chong Zhang, Jonas Frey, Nikita Rudin, Matias Mattamala, Cesar Cadena, Marco Hutter
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2023-10-05
备注: Website and videos are available at our Project Page: https://bit.ly/45NBTuh
💡 一句话要点
提出基于强化学习的导航策略以应对感知失败问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 自主导航 感知失败 四足机器人 环境重建 本体感知 实时反应
📋 核心要点
- 现有方法在面对感知失败时，往往依赖启发式规则和异常检测，缺乏有效的自适应能力。
- 本文提出了一种基于强化学习的局部导航策略，能够从受损的感知信息中重建环境，并进行端到端反应。
- 实验结果表明，所提策略在真实环境中成功率提高超过30%，显著优于传统的启发式规划方法。
📝 摘要（中文）
自主机器人必须在未知环境中可靠导航，即使在感知失败的情况下。感知失败通常发生在恶劣环境中，导致传感器性能下降，或由于算法的局限性而错误解读场景。本文将感知失败建模为隐形障碍和坑洞，并训练了一种基于强化学习的局部导航策略来引导四足机器人。与依赖启发式和异常检测的传统方法不同，我们的策略能够从受损的感知中重建环境信息，并实现端到端的反应。通过结合本体感知和外部感知，我们的策略能够感知不同部位的碰撞和坑洞，从而做出相应反应。我们在仿真和真实四足机器人ANYmal上进行了验证，结果显示在面对感知失败时，成功率提高了30%以上。
🔬 方法详解
问题定义：本文旨在解决自主机器人在感知失败情况下的导航问题。现有方法多依赖启发式规则和异常检测，缺乏对环境动态变化的适应能力，导致在复杂环境中表现不佳。
核心思路：我们提出了一种基于强化学习的导航策略，能够从受损的感知信息中重建环境信息，并通过结合本体感知与外部感知，增强机器人对环境的反应能力。
技术框架：整体架构包括感知模块、策略网络和反馈机制。感知模块负责收集本体感知和外部感知信息，策略网络则基于这些信息生成导航决策，反馈机制用于实时调整策略。
关键创新：最重要的创新在于将感知失败建模为隐形障碍和坑洞，并通过强化学习实现环境信息的重建与反应。这一方法与传统的启发式方法本质上不同，能够实现更高的自适应性。
关键设计：在设计中，我们使用了多层神经网络作为策略网络，并引入了特定的损失函数来优化环境重建的准确性。此外，结合本体感知的输入使得机器人能够感知不同部位的碰撞，增强了反应的灵活性。
🖼️ 关键图片
📊 实验亮点
在与现有启发式局部反应规划器的定量比较中，我们的策略在面对感知失败时成功率提高超过30%。实验结果表明，该方法在实时环境中表现优异，CPU推理时间小于10毫秒，显示出良好的实用性。
🎯 应用场景
该研究的潜在应用领域包括灾后救援、探索未知环境以及服务机器人等场景。在这些应用中，机器人需要在复杂和不确定的环境中进行自主导航，确保安全与效率。未来，该技术有望推动自主机器人在更广泛领域的应用，提升其智能化水平。
📄 摘要（原文）
Autonomous robots must navigate reliably in unknown environments even under compromised exteroceptive perception, or perception failures. Such failures often occur when harsh environments lead to degraded sensing, or when the perception algorithm misinterprets the scene due to limited generalization. In this paper, we model perception failures as invisible obstacles and pits, and train a reinforcement learning (RL) based local navigation policy to guide our legged robot. Unlike previous works relying on heuristics and anomaly detection to update navigational information, we train our navigation policy to reconstruct the environment information in the latent space from corrupted perception and react to perception failures end-to-end. To this end, we incorporate both proprioception and exteroception into our policy inputs, thereby enabling the policy to sense collisions on different body parts and pits, prompting corresponding reactions. We validate our approach in simulation and on the real quadruped robot ANYmal running in real-time (<10 ms CPU inference). In a quantitative comparison with existing heuristic-based locally reactive planners, our policy increases the success rate over 30% when facing perception failures. Project Page: https://bit.ly/45NBTuh.