HorizonNav: Geometry-Guided Video Diffusion for Anticipatory 3D Robot Navigation
作者: Hajira Amjad, Valerii Serpiva, Viacheslav Liubimov, Didar Seyidov, Dzmitry Tsetserukou
分类: cs.RO
发布日期: 2026-10-09
备注: 8 pages, 2 figures, 4 tables. Submitted to IEEE ICRA 2027
💡 一句话要点
提出HorizonNav以解决机器人导航中的几何一致性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人导航 视频扩散 几何一致性 深度预测 视觉-语言模型 环境重建 自主决策
📋 核心要点
- 现有的机器人导航方法在处理复杂环境时，往往缺乏几何一致性，导致导航性能下降。
- HorizonNav通过结合视频扩散模型与几何引导的深度对齐，提升了3D环境重建的准确性和一致性。
- 实验结果显示，在19个场景的研究中，规划可行场景从13/19提升至15/19，成功的RRT试验从62/90提升至75/90。
📝 摘要（中文）
我们提出了HorizonNav，一个基于视频扩散的框架，用于预期机器人导航，该框架将单个RGB图像和文本提示转换为几何对齐的可行周围3D空间表示。给定初始观察和重建目标的文本描述，视觉-语言模型在设计指令的指导下解释场景，并为视频扩散模型构建结构化提示。生成的视频序列提供了环境的可行未来观察，随后使用单目ORB-SLAM3进行相机位姿估计，并利用Video Depth Anything进行密集深度预测。我们的核心贡献是几何引导的深度对齐阶段，它结合了估计的相机位姿和三角测量的视觉地标，以约束多个视图的密集深度预测。这种对齐提高了重建3D环境的几何一致性，解决了仅依赖生成视频的时间一致性无法解决的问题。
🔬 方法详解
问题定义：本论文旨在解决机器人导航中环境重建的几何一致性问题。现有方法在复杂场景中往往无法提供准确的深度信息，导致导航失败。
核心思路：HorizonNav通过结合视频扩散模型与几何引导的深度对齐，利用初始RGB图像和文本提示生成可行的3D环境表示，从而提升导航的准确性。
技术框架：该框架包括三个主要模块：视觉-语言模型用于场景理解，视频扩散模型生成未来观察，最后通过ORB-SLAM3和Video Depth Anything进行位姿估计和深度预测。
关键创新：论文的核心创新在于几何引导的深度对齐阶段，它通过结合相机位姿和视觉地标，显著提高了重建环境的几何一致性，克服了传统方法的局限。
关键设计：在技术细节上，使用了特定的损失函数来优化深度预测，并设计了适应性参数设置，以确保在不同场景下的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HorizonNav在19个场景的研究中，规划可行场景的比例从P20的13/19提升至P81的15/19，成功的RRT试验从62/90提升至75/90，显示出显著的性能提升。
🎯 应用场景
HorizonNav的研究成果在机器人导航、自动驾驶和虚拟现实等领域具有广泛的应用潜力。通过提供更准确的环境重建和导航能力，该技术能够提升机器人在复杂环境中的自主决策能力，推动智能机器人技术的发展。
📄 摘要（原文）
We present HorizonNav, a video diffusion-based framework for anticipatory robot navigation that transforms a single RGB image and a text prompt into a geometrically aligned representation of plausible surrounding 3D space. Given the initial observation and a textual description of the reconstruction objective, a vision-language model, guided by designed instructions, interprets the scene and constructs structured prompts for a video diffusion model. The resulting video sequence provides plausible future observations of the environment, which are subsequently processed using monocular ORB-SLAM3 for camera pose estimation and Video Depth Anything for dense depth prediction. Our central contribution is a geometry-guided depth alignment stage that combines the estimated camera poses with triangulated visual landmarks to constrain dense depth predictions across multiple views. This alignment improves the geometric consistency of the reconstructed 3D environment, addressing inconsistencies that temporal coherence of the generated video alone cannot resolve. The experimental evaluation of navigation in imagined 3D environment shows that across a 19-scene horizon study, planning-feasible scenes increase from 13/19 at P20 to 15/19 at P81, while successful RRT trials increase from 62/90 to 75/90. In a separate corridor study, 6 of 25 evaluable generated-camera trajectories violate the reconstructed collision constraints; RRT planner recovers feasible alternatives in 5 of those 6 cases. A larger archive contains 58 usable reconstructions from 67 attempted cases, of which 36 support a downstream plan and 22 do not, exposing reconstruction and free-space failure modes rather than hiding them without lidar. Across 15 corridor reconstructions, the mean reconstruction error is approximately 0.30 m at matched structural landmarks.