DUGM-R: Uncertainty-Aware Dynamic Grid Mapping and Risk-Triggered Recovery for Learned Local Navigation
作者: Haoyun Feng, Adrian Rubio-Solis, Zhaodong Guo, George Mylonas
分类: cs.RO
发布日期: 2026-09-23
备注: 8 pages, 7 figures, 2 tables
💡 一句话要点
提出不确定性感知动态网格映射以解决室内导航中的碰撞风险问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 动态网格映射 不确定性感知 风险感知 强化学习 局部导航 机器人技术 碰撞避免
📋 核心要点
- 现有的局部导航方法在动态障碍物的运动表示上存在不足，导致碰撞风险增加。
- 本文提出的不确定性感知动态不确定性网格图（DUGM）结合了局部占用和障碍物运动的不确定性，增强了导航的安全性。
- 在NVIDIA Isaac Sim临床物流基准测试中的实验表明，该框架在不进行策略微调的情况下，仍能保持良好的导航性能。
📝 摘要（中文）
在拥挤的室内环境中，学习的局部导航对动态障碍物运动的表示非常敏感，而在名义策略训练后，碰撞倾向行为可能仍然存在。本文提出了一种风险感知的强化学习框架，通过不确定性感知的动态不确定性网格图（DUGM）和模块化的后训练恢复机制来解决这两个问题。DUGM结合了局部占用、估计的障碍物运动和运动估计的不确定性。在冻结名义策略后，从名义回放中训练有限时间的风险价值函数（RVF），并在预测持续名义执行可能发生碰撞时触发专用的恢复策略。实验结果表明，不确定性感知的动态表示在静态和确定性替代方案上改善了名义导航，而恢复机制进一步减轻了残余的碰撞倾向行为。
🔬 方法详解
问题定义：本文旨在解决在拥挤室内环境中，学习的局部导航对动态障碍物运动表示敏感的问题。现有方法在名义策略训练后，仍可能存在碰撞倾向行为，导致导航安全性不足。
核心思路：论文提出了一种风险感知的强化学习框架，利用不确定性感知的动态不确定性网格图（DUGM）来表示障碍物的运动和不确定性，并在名义策略冻结后，通过训练风险价值函数（RVF）来触发恢复策略，以应对潜在的碰撞风险。
技术框架：整体框架包括两个主要模块：不确定性感知动态网格图（DUGM）和后训练恢复机制。DUGM模块结合了局部占用信息、障碍物运动估计及其不确定性，而恢复机制则在名义执行可能导致碰撞时激活。
关键创新：最重要的创新在于提出了不确定性感知的动态网格图（DUGM），它通过综合考虑运动估计的不确定性，显著提升了导航的安全性和有效性。这一方法与传统静态和确定性方法相比，具有更强的适应性。
关键设计：在DUGM的构建中，采用了局部占用网格和障碍物运动估计的结合，设计了相应的损失函数以优化运动估计的准确性。同时，风险价值函数（RVF）的训练采用有限时间的回放策略，确保在碰撞风险高时能够及时激活恢复策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用不确定性感知动态表示的导航性能优于静态和确定性替代方案，且恢复机制有效减轻了碰撞倾向行为。在NVIDIA Isaac Sim基准测试中，框架在不进行策略微调的情况下，保持了与模拟中观察到的性能趋势一致。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和智能物流等场景，能够有效提升在动态环境中的安全性和可靠性。未来，随着技术的进一步发展，该框架有望在更复杂的环境中实现更广泛的应用，推动智能机器人技术的进步。
📄 摘要（原文）
Learned local navigation in crowded indoor environments is sensitive to how dynamic obstacle motion is represented, while collision-prone behaviour may persist after nominal policy training. We present a risk-aware reinforcement-learning framework that addresses these two issues through an uncertainty-aware Dynamic Uncertainty Grid Map (DUGM) and a modular post-training recovery mechanism. DUGM combines local occupancy, estimated obstacle motion, and motion-estimation uncertainty in a robot-centric representation. After the nominal policy is frozen, a finite-horizon Risk Value Function (RVF) is trained from nominal rollouts and used to trigger a dedicated recovery policy when continued nominal execution is predicted to be collision-prone. Experiments in a held-out NVIDIA Isaac Sim clinical-logistics benchmark show that uncertainty-aware dynamic representation improves nominal navigation over static and deterministic alternatives, while the recovery mechanism further mitigates residual collision-prone behaviour. The complete framework is also deployed directly on a TurtleBot3 without policy fine-tuning, retraining, or site-specific adaptation, retaining the performance trend observed in simulation. These results indicate that uncertainty-aware dynamic representation and post-training recovery provide complementary mechanisms for improving learned local navigation.