Seeing What Matters: Visual Cue Guided Video Planning for Generalizable Robot Navigation
作者: Hojin Lee, Sizhe Lester Li, Maximilian Hilger, Susie Lu, Achim J. Lilienthal, Vincent Sitzmann, Daniel A. Duecker
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-09-15
备注: Project website: https://cuenav.github.io
💡 一句话要点
提出CueNav以解决机器人导航中的长时间规划问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 机器人导航 视频规划 视觉线索 逆动力学模型 长时间规划 实体感知控制 生成模型
📋 核心要点
- 现有的机器人导航方法在长时间规划和视频到动作转换方面探索不足，导致导航成功率低。
- 本文提出的CueNav框架结合视觉线索和逆动力学模型，能够有效引导视频规划并实现精确导航。
- 实验结果显示，CueNav在迷宫导航中成功率提高近2倍，并在狭窄通道中实现70%的成功率，表现优异。
📝 摘要（中文）
生成视频模型可以作为机器人导航的有力支撑，通过预测未来观察作为视频计划。然而，现有方法通常依赖于短期指导，且在长时间规划和精确视频到动作的转换方面探索不足。本文提出了CueNav，一个基于视频模型的导航框架，结合了视觉线索引导的视频规划和特定于实体的逆动力学模型（IDM）。我们使用鸟瞰图（BEV）作为视觉线索，传达全局任务上下文，同时保留机器人身体的一部分在自我中心观察中，以揭示实体上下文。这些线索引导视频规划器，而IDM则将从视频计划中提取的密集流场转换为机器人动作。CueNav在迷宫导航中成功率几乎提高了2倍，并在狭窄通道中实现了70%的成功率，显示出其在长时间规划和实体感知控制方面的潜力。
🔬 方法详解
问题定义：本文旨在解决现有机器人导航方法在长时间规划和视频到动作转换中的不足，特别是在复杂环境中的导航挑战。
核心思路：CueNav框架通过结合视觉线索和逆动力学模型，提供全局任务上下文和实体感知，增强了视频规划的有效性和精确性。
技术框架：CueNav的整体架构包括视觉线索编码模块、视频规划器和逆动力学模型（IDM）。视觉线索通过鸟瞰图提供全局上下文，视频规划器生成未来观察，IDM将这些观察转换为具体的机器人动作。
关键创新：最重要的创新在于将视觉线索与逆动力学模型相结合，使得机器人能够在复杂环境中进行长时间的有效导航，这与传统方法的短期规划形成鲜明对比。
关键设计：在设计中，使用了鸟瞰图作为视觉线索，确保全局任务上下文的传达；IDM的设计使得从视频计划中提取的流场能够有效转化为机器人动作，提升了导航的精确性。实验中还考虑了不同机器人平台的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CueNav在迷宫导航中成功率几乎提高了2倍，达到近70%的成功率在狭窄通道中，而传统方法在此环境下表现不佳。这一显著提升展示了视觉线索引导视频规划的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、智能交通系统和无人机飞行控制等。通过实现长时间规划和实体感知控制，CueNav能够在复杂环境中提供更高效的导航解决方案，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Generative video models can serve as a promising backbone for robot navigation by predicting future observations as video plans. Recent approaches often condition video planning on short-horizon guidance and recover geometric waypoints through scene reconstruction, leaving longer-horizon planning and precise video-to-action translation less explored. We present CueNav, a video model-based navigation framework combining visual cue guided video planning with an embodiment-specific Inverse-Dynamics Model (IDM). As visual cues, we use a Bird's-Eye View (BEV) map to convey global task context and retain part of the robot body in the egocentric observation to expose embodiment context. These cues guide the video planner, while the IDM translates dense flow fields extracted from the video plan into robot actions. With the visual cue encoding global task context, CueNav achieves nearly 2x higher success in maze navigation than planning without the cue. The body-aware view with the IDM enables precise navigation with 70% success in a narrow passage where comparison methods largely fail to complete the task. We further demonstrate zero-shot semantic-conditioned navigation and deployment of the same video planner across different robot platforms. Our results show that visual cue-guided video planning with embodiment-specific action grounding paves the way toward a generalizable navigation framework for longer-horizon planning and embodiment-aware control. Additional results and code are available on our project website: https://cuenav.github.io.