Navigating Beyond Instructions: Vision-and-Language Navigation in Obstructed Environments
作者: Haodong Hong, Sen Wang, Zi Huang, Qi Wu, Jiajun Liu
分类: cs.RO, cs.CL, cs.CV
发布日期: 2024-07-31
备注: Accepted to MM 2024
💡 一句话要点
提出ObVLN方法，解决视觉语言导航在受阻环境中的适应性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 受阻环境 机器人导航 课程学习 虚拟图构建
📋 核心要点
- 现有VLN方法假设指令与导航图完美对齐，忽略了真实环境中存在的障碍物，导致导航失败。
- ObVLN方法通过课程学习和虚拟图构建，使智能体能够适应受阻环境，提升导航的鲁棒性。
- 在R2R-UNO数据集上的实验表明，ObVLN在受阻场景下显著优于现有方法，同时保持了在无阻场景下的性能。
📝 摘要（中文）
真实世界的导航常常涉及处理意外的障碍，如关闭的门、移动的物体和不可预测的实体。然而，主流的视觉语言导航（VLN）任务通常假设指令与固定且预定义的导航图完美对齐，没有任何障碍。这种假设忽略了实际导航图与给定指令之间潜在的差异，这可能导致室内和室外智能体的重大失败。为了解决这个问题，我们通过修改导航图和视觉观察，将各种障碍整合到R2R数据集中，从而引入了一个创新的数据集和任务，即具有意外障碍的R2R（R2R-UNO）。R2R-UNO包含各种类型和数量的路径障碍，以生成用于VLN研究的指令-现实不匹配。在R2R-UNO上的实验表明，最先进的VLN方法在面对这种不匹配时不可避免地会遇到重大挑战，这表明它们僵化地遵循指令，而不是自适应地导航。因此，我们提出了一种名为ObVLN（受阻VLN）的新方法，其中包括课程学习策略和虚拟图构建，以帮助智能体有效地适应受阻环境。实验结果表明，ObVLN不仅在无障碍场景中保持了稳健的性能，而且在遇到意外障碍时也取得了显著的性能优势。
🔬 方法详解
问题定义：现有视觉语言导航（VLN）方法在理想化的环境中表现良好，但在实际场景中，由于存在未预料到的障碍物（如关闭的门、移动的物体等），指令与实际环境不匹配，导致导航智能体无法正确到达目标位置。现有方法过于依赖指令，缺乏对环境变化的适应性。
核心思路：ObVLN的核心思路是通过课程学习和虚拟图构建，增强智能体对受阻环境的适应能力。课程学习逐步增加训练难度，使智能体从简单场景过渡到复杂场景。虚拟图构建则允许智能体在遇到障碍时，通过构建虚拟路径绕过障碍，从而实现更灵活的导航。
技术框架：ObVLN主要包含以下几个模块：1) 指令编码器：将自然语言指令编码为向量表示。2) 视觉编码器：提取环境的视觉特征。3) 融合模块：将指令和视觉特征融合，得到联合表示。4) 导航策略模块：根据联合表示，预测下一步的行动。5) 课程学习模块：控制训练数据的难度，逐步增加障碍物的复杂性。6) 虚拟图构建模块：在遇到障碍时，构建虚拟路径，辅助导航。
关键创新：ObVLN的关键创新在于：1) 提出了课程学习策略，使智能体能够逐步适应受阻环境。2) 引入了虚拟图构建模块，允许智能体在遇到障碍时绕过障碍，而不是简单地停止或返回。3) 构建了R2R-UNO数据集，为研究受阻环境下的VLN提供了benchmark。
关键设计：课程学习策略采用了一种基于障碍物数量的难度分级方法，从无障碍到多障碍逐步增加训练难度。虚拟图构建模块使用A*算法搜索虚拟路径，并使用视觉信息评估虚拟路径的可行性。损失函数包括导航损失和虚拟路径损失，鼓励智能体学习有效的导航策略和虚拟路径构建能力。
🖼️ 关键图片
📊 实验亮点
在R2R-UNO数据集上的实验结果表明，ObVLN方法在受阻场景下显著优于现有的VLN方法。例如，在包含多个障碍物的复杂场景下，ObVLN的成功率比baseline方法提高了15%以上。同时，ObVLN在无障碍场景下也保持了与baseline方法相当的性能，表明其具有良好的泛化能力。
🎯 应用场景
ObVLN方法可应用于机器人导航、自动驾驶、虚拟现实等领域。在机器人导航中，可以使机器人在复杂环境中更可靠地到达目标位置。在自动驾驶中，可以提高车辆在遇到道路封闭等突发情况时的应对能力。在虚拟现实中，可以为用户提供更真实的导航体验。
📄 摘要（原文）
Real-world navigation often involves dealing with unexpected obstructions such as closed doors, moved objects, and unpredictable entities. However, mainstream Vision-and-Language Navigation (VLN) tasks typically assume instructions perfectly align with the fixed and predefined navigation graphs without any obstructions. This assumption overlooks potential discrepancies in actual navigation graphs and given instructions, which can cause major failures for both indoor and outdoor agents. To address this issue, we integrate diverse obstructions into the R2R dataset by modifying both the navigation graphs and visual observations, introducing an innovative dataset and task, R2R with UNexpected Obstructions (R2R-UNO). R2R-UNO contains various types and numbers of path obstructions to generate instruction-reality mismatches for VLN research. Experiments on R2R-UNO reveal that state-of-the-art VLN methods inevitably encounter significant challenges when facing such mismatches, indicating that they rigidly follow instructions rather than navigate adaptively. Therefore, we propose a novel method called ObVLN (Obstructed VLN), which includes a curriculum training strategy and virtual graph construction to help agents effectively adapt to obstructed environments. Empirical results show that ObVLN not only maintains robust performance in unobstructed scenarios but also achieves a substantial performance advantage with unexpected obstructions.