RAVEN: Reinforcement-Adaptive Visibility-Graph Planning for Robust Humanoid Navigation with Collision-Free MPC

📄 arXiv: 2607.15701 📥 PDF

作者: Ruochen Hou, Shiqi Wang, Beom Jun Kim, Hanzhang Fang, Mehak Singal, Dennis W. Hong

分类: cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出RAVEN以解决动态环境下人形机器人导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 导航 强化学习 模型预测控制 可视图规划 动态环境 鲁棒性 路径规划

📋 核心要点

  1. 现有方法依赖于手动调节参数和准确建模，导致在动态环境中导航时容易出现超调和约束违反。
  2. RAVEN通过强化学习适应可视图规划器的几何构造，直接调整自由空间几何，以补偿控制延迟和跟踪不完美。
  3. 实验表明，RAVEN在障碍物附近减少超调，提高了狭窄通道的鲁棒性，并在延迟和噪声下表现出更可靠的导航能力。

📝 摘要（中文）

人形机器人在动态环境中的导航需要长时间规划，同时遵循短时间动态和安全约束。传统的可视图规划器与模型预测控制（MPC）结合可以有效生成无碰撞轨迹，但其性能依赖于手动调节的参数和准确的系统建模。我们提出了RAVEN，一个层次化的强化学习（RL）-MPC框架，用于增强人形机器人的导航能力。RAVEN通过调整障碍物膨胀和相关图参数，利用RL适应可视图规划器的几何构造，从而改善了在控制延迟和状态估计噪声下的导航鲁棒性。实验结果表明，RAVEN在障碍物附近减少了超调，提高了狭窄通道的鲁棒性，并在延迟和噪声下实现了更可靠的导航。

🔬 方法详解

问题定义：本论文旨在解决人形机器人在动态环境中导航时面临的长时间规划与短时间动态约束之间的矛盾。现有方法在控制延迟、状态估计噪声和运动不确定性下容易导致超调和约束违反，影响导航效果。

核心思路：RAVEN的核心思路是通过强化学习适应可视图规划器的几何构造，调整障碍物膨胀和图参数，从而改善导航的鲁棒性。这种方法避免了完全依赖手动调节参数或端到端学习的缺陷。

技术框架：RAVEN的整体架构包括两个主要模块：第一层是强化学习模块，用于调整可视图规划器的几何构造；第二层是无碰撞的MPC模块，负责跟踪规划轨迹并强制执行速度限制和避障约束。

关键创新：RAVEN的创新在于将强化学习与可视图规划相结合，通过直接重塑自由空间几何来改变全局路径的拓扑结构，从而提高了导航的鲁棒性。这与传统方法的本质区别在于，RAVEN不再依赖于手动调节的参数，而是通过学习动态适应。

关键设计：在RAVEN中，关键设计包括障碍物膨胀的动态调整、图参数的学习，以及MPC的约束优化设计。损失函数的设计考虑了导航的安全性和效率，确保在复杂环境中仍能保持高效的路径规划。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAVEN在障碍物附近的超调减少了显著，狭窄通道的鲁棒性提高了，且在控制延迟和观测噪声下的导航可靠性显著增强。与手动调节的可视图MPC基线相比，RAVEN表现出更优的导航性能。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶车辆和人形机器人等需要在动态环境中进行自主导航的系统。RAVEN的设计理念和方法可以为这些领域提供更为鲁棒和可靠的导航解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humanoid navigation in dynamic environments requires long-horizon planning while respecting short-horizon dynamic and safety constraints. Classical visibility-graph planners combined with model predictive control (MPC) can efficiently generate collision-free trajectories, but their performance depends on manually tuned parameters and accurate system modeling. In real robotic systems, control delays, state-estimation noise, and locomotion uncertainties can cause overshoot and constraint violations even when the nominal path is geometrically optimal. We propose RAVEN, a hierarchical reinforcement learning (RL)-MPC framework for robust humanoid navigation. Unlike prior approaches that use learning to tune cost weights or replace planning entirely, RAVEN employs RL to adapt the geometric construction of a visibility-graph planner by modifying obstacle inflation and related graph parameters. By directly reshaping the free-space geometry, the learned planner alters the topology of the global path to compensate for delay and tracking imperfections. A collision-free MPC layer then tracks the planned trajectory while explicitly enforcing velocity bounds and obstacle-avoidance constraints. By training under realistic delays and observation noise, RAVEN learns planning adaptations that improve robustness while retaining explicit long-horizon geometric planning and constrained optimization, in contrast to end-to-end learning approaches. We evaluate RAVEN against a manually tuned visibility-graph MPC baseline and a pure RL navigation policy. Results demonstrate reduced overshoot near obstacles, improved robustness in narrow passages, and more reliable navigation under delay and noise. These findings indicate that reinforcement-adaptive graph construction combined with constrained MPC provides an effective and interpretable alternative to end-to-end learning for robust humanoid navigation.