RoadRunner M&M -- Learning Multi-range Multi-resolution Traversability Maps for Autonomous Off-road Navigation
作者: Manthan Patel, Jonas Frey, Deegan Atha, Patrick Spieler, Marco Hutter, Shehryar Khattak
分类: cs.RO, cs.CV
发布日期: 2024-09-17
备注: Under review for IEEE RA-L
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
RoadRunner M&M：学习多范围多分辨率地形图，用于自主越野导航
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 越野导航 可通行性估计 多分辨率地图 端到端学习 自监督学习
📋 核心要点
- 越野导航中，远距离感知信息不足和感知延迟限制了机器人高速行驶能力，现有方法难以兼顾远距离和高精度。
- RoadRunner M&M 采用端到端学习，直接预测多范围多分辨率的可通行性和高程图，提升远距离感知能力。
- 实验表明，RoadRunner M&M 在高程映射和可通行性估计方面均有显著提升，并具备良好的泛化能力和实时性。
📝 摘要（中文）
在越野环境中，自主机器人导航需要全面理解地形几何结构和可通行性。远距离感知条件恶化和稀疏几何信息使得该问题具有挑战性，尤其是在高速行驶时。此外，感知到地图构建的延迟和前瞻地图范围会限制车辆的最大速度。本文在RoadRunner的基础上，解决了远距离（100米）可通行性估计的挑战。RoadRunner (M&M) 是一个端到端学习框架，它以多张图像和激光雷达体素地图作为输入，直接预测多个范围（50米，100米）和分辨率（0.2米，0.8米）下的可通行性和高程图。该方法以自监督方式训练，利用由现有可通行性估计堆栈（X-Racer）事后融合预测和卫星数字高程模型生成的密集监督信号。RoadRunner M&M 在高程映射方面实现了高达 50% 的显著改进，在可通行性估计方面实现了 30% 的改进，并且与 X-Racer 相比，能够预测多 30% 的区域，同时实现了实时性能。在各种分布外数据集上的实验也表明，我们的数据驱动方法开始泛化到新的非结构化环境。我们将提出的框架与路径规划器闭环集成，以展示在具有挑战性的现实环境中自主高速越野机器人导航。
🔬 方法详解
问题定义：论文旨在解决越野环境下远距离（100米）的可通行性估计问题。现有方法在远距离感知中存在精度不足、感知延迟高的问题，限制了自主导航的速度和安全性。此外，越野环境的复杂性和多样性也对算法的泛化能力提出了挑战。
核心思路：论文的核心思路是利用端到端学习框架，直接从多模态传感器数据（图像和激光雷达）预测多范围、多分辨率的可通行性和高程图。通过学习，模型能够更好地利用远距离的稀疏信息，并减少感知延迟。同时，利用自监督学习，可以从已有算法和卫星数据中获取监督信号，降低对人工标注数据的依赖。
技术框架：RoadRunner M&M 的整体框架是一个端到端的神经网络。输入包括多张图像和激光雷达体素地图。网络包含多个分支，分别预测不同范围（50米，100米）和分辨率（0.2米，0.8米）的可通行性和高程图。网络输出经过后处理，用于路径规划和自主导航。训练过程采用自监督学习，利用 X-Racer 的预测结果和卫星数字高程模型作为监督信号。
关键创新：RoadRunner M&M 的关键创新在于：1) 提出了一种端到端的多范围、多分辨率可通行性估计框架，能够有效利用远距离的稀疏信息；2) 采用自监督学习，降低了对人工标注数据的依赖；3) 通过多分辨率预测，兼顾了远距离感知的范围和近距离感知的精度。与现有方法相比，RoadRunner M&M 能够更准确、更高效地估计远距离的可通行性。
关键设计：RoadRunner M&M 的关键设计包括：1) 网络结构：采用多分支结构，分别预测不同范围和分辨率的地图；2) 损失函数：采用多种损失函数，包括高程损失、可通行性损失等，并根据范围和分辨率进行加权；3) 自监督学习：利用 X-Racer 的预测结果和卫星数字高程模型作为监督信号，并设计相应的损失函数；4) 数据增强：采用多种数据增强方法，提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
RoadRunner M&M 在多个数据集上进行了评估，结果表明其性能优于现有方法。在高程映射方面，RoadRunner M&M 实现了高达 50% 的改进；在可通行性估计方面，实现了 30% 的改进。此外，RoadRunner M&M 能够预测多 30% 的区域，同时保持实时性能。在分布外数据集上的实验也表明，该方法具有良好的泛化能力。
🎯 应用场景
该研究成果可广泛应用于越野自主导航领域，例如无人驾驶车辆、搜救机器人、农业机器人等。通过提高越野环境下的感知能力，可以提升机器人的自主性和安全性，使其能够在复杂地形中执行各种任务。此外，该方法还可以应用于地形测绘、环境监测等领域，为相关研究提供技术支持。
📄 摘要（原文）
Autonomous robot navigation in off-road environments requires a comprehensive understanding of the terrain geometry and traversability. The degraded perceptual conditions and sparse geometric information at longer ranges make the problem challenging especially when driving at high speeds. Furthermore, the sensing-to-mapping latency and the look-ahead map range can limit the maximum speed of the vehicle. Building on top of the recent work RoadRunner, in this work, we address the challenge of long-range (100 m) traversability estimation. Our RoadRunner (M&M) is an end-to-end learning-based framework that directly predicts the traversability and elevation maps at multiple ranges (50 m, 100 m) and resolutions (0.2 m, 0.8 m) taking as input multiple images and a LiDAR voxel map. Our method is trained in a self-supervised manner by leveraging the dense supervision signal generated by fusing predictions from an existing traversability estimation stack (X-Racer) in hindsight and satellite Digital Elevation Maps. RoadRunner M&M achieves a significant improvement of up to 50% for elevation mapping and 30% for traversability estimation over RoadRunner, and is able to predict in 30% more regions compared to X-Racer while achieving real-time performance. Experiments on various out-of-distribution datasets also demonstrate that our data-driven approach starts to generalize to novel unstructured environments. We integrate our proposed framework in closed-loop with the path planner to demonstrate autonomous high-speed off-road robotic navigation in challenging real-world environments. Project Page: https://leggedrobotics.github.io/roadrunner_mm/