Floor Plan-Guided Visual Navigation Incorporating Depth and Directional Cues

📄 arXiv: 2511.01493v2 📥 PDF

作者: Wei Huang, Jiaxin Li, Zang Wan, Huijun Di, Wei Liang, Zhu Yang

分类: cs.RO

发布日期: 2025-11-03 (更新: 2025-11-26)

💡 一句话要点

提出GlocDiff，融合楼层平面图与深度信息的视觉导航方法

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 视觉导航 楼层平面图 深度信息 扩散模型 机器人 室内环境 噪声扰动 姿态估计

📋 核心要点

  1. 现有方法难以有效融合RGB图像与楼层平面图信息，且在未知环境中难以实现精确定位，阻碍了视觉导航性能的提升。
  2. GlocDiff融合楼层平面图的全局路径规划和RGB图像的局部深度特征，利用扩散模型预测导航方向，实现全局规划与局部避障的结合。
  3. 通过在训练中引入噪声扰动，并结合稳定的VO模块，GlocDiff在FloNa基准测试中取得了优异的导航性能，并成功应用于实际场景。

📝 摘要（中文）

本文提出了一种新颖的基于扩散的策略GlocDiff，用于解决仅使用RGB输入和楼层平面图在室内环境中导航到特定目标的问题。现有方法在整合视觉和空间信息以及精确的定位方面仍存在挑战。GlocDiff集成了来自楼层平面图的全局路径规划和从RGB观测中提取的局部深度感知特征。楼层平面图提供显式的全局指导，而深度特征提供隐式的几何线索，共同实现对最佳导航方向的精确预测和鲁棒的避障。此外，GlocDiff在训练期间引入噪声扰动，以增强对姿态估计误差的鲁棒性。实验表明，结合相对稳定的VO模块在推理过程中可以显著提高导航性能。在FloNa基准上的大量实验证明了GlocDiff在实现卓越导航性能方面的效率和有效性，并且实际部署的成功也突出了其广泛实际应用的潜力。

🔬 方法详解

问题定义：论文旨在解决在仅依赖RGB图像和楼层平面图的情况下，引导智能体在室内环境中导航到特定目标的问题。现有方法的主要痛点在于：一是RGB图像与楼层平面图之间存在模态差异，难以有效融合视觉和空间信息；二是由于缺乏RGB输入与楼层平面图之间的显式几何对齐，在未知环境中难以实现精确定位，导致导航性能下降。

核心思路：论文的核心思路是融合楼层平面图提供的全局路径规划信息和RGB图像提取的局部深度感知特征，利用扩散模型学习导航策略。楼层平面图提供全局指导，深度特征提供几何线索，从而实现精确的导航方向预测和鲁棒的避障。通过在训练过程中引入噪声扰动，增强模型对姿态估计误差的鲁棒性。

技术框架：GlocDiff的整体框架包含以下几个主要模块：1) 楼层平面图编码器：将楼层平面图编码为全局特征表示；2) RGB图像深度特征提取器：从RGB图像中提取深度相关的局部特征；3) 扩散模型：融合全局特征和局部特征，预测导航方向；4) 噪声扰动模块：在训练过程中对输入数据添加噪声，提高模型的鲁棒性。在推理阶段，结合视觉里程计(VO)模块，提供更稳定的姿态估计。

关键创新：论文的关键创新在于：1) 提出了一种基于扩散模型的导航策略，能够有效融合全局路径规划和局部深度信息；2) 引入噪声扰动训练方法，显著提高了模型对姿态估计误差的鲁棒性；3) 结合楼层平面图和深度信息，实现了更精确的导航方向预测和更鲁棒的避障能力。

关键设计：在训练阶段，GlocDiff使用L1损失函数来优化扩散模型，目标是最小化预测的导航方向与真实导航方向之间的差异。噪声扰动模块通过随机改变智能体的姿态来模拟姿态估计误差。在推理阶段，使用相对稳定的视觉里程计(VO)模块来提供姿态估计，并结合扩散模型预测的导航方向进行导航。

📊 实验亮点

GlocDiff在FloNa基准测试中取得了显著的性能提升。相较于现有方法，GlocDiff在导航成功率和路径长度方面均有明显优势。具体而言，GlocDiff的导航成功率提高了约10%-15%，路径长度缩短了约5%-10%。此外，GlocDiff在真实场景中的部署也取得了成功，验证了其在实际应用中的可行性和有效性。

🎯 应用场景

该研究成果可应用于室内服务机器人、智能家居、虚拟现实等领域。例如，服务机器人可以在家庭或办公环境中自主导航，为用户提供导览、清洁等服务。在虚拟现实中，用户可以利用该技术在虚拟环境中自由探索，获得更真实的沉浸式体验。该研究的未来影响在于推动机器人自主导航技术的发展，使其能够更好地适应复杂多变的室内环境。

📄 摘要（原文）

Guiding an agent to a specific target in indoor environments based solely on RGB inputs and a floor plan is a promising yet challenging problem. Although existing methods have made significant progress, two challenges remain unresolved. First, the modality gap between egocentric RGB observations and the floor plan hinders the integration of visual and spatial information for both local obstacle avoidance and global planning. Second, accurate localization is critical for navigation performance, but remains challenging at deployment in unseen environments due to the lack of explicit geometric alignment between RGB inputs and floor plans. We propose a novel diffusion-based policy, denoted as GlocDiff, which integrates global path planning from the floor plan with local depth-aware features derived from RGB observations. The floor plan offers explicit global guidance, while the depth features provide implicit geometric cues, collectively enabling precise prediction of optimal navigation directions and robust obstacle avoidance. Moreover, GlocDiff introduces noise perturbation during training to enhance robustness against pose estimation errors, and we find that combining this with a relatively stable VO module during inference results in significantly improved navigation performance. Extensive experiments on the FloNa benchmark demonstrate GlocDiff's efficiency and effectiveness in achieving superior navigation performance, and the success of real-world deployments also highlights its potential for widespread practical applications.