Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation

📄 arXiv: 2406.09798v3 📥 PDF

作者: Zihan Wang, Xiangyang Li, Jiahao Yang, Yeqi Liu, Shuqiang Jiang

分类: cs.RO, cs.CV

发布日期: 2024-06-14 (更新: 2024-10-14)

备注: Accepted by CoRL 2024. The code is available at https://github.com/MrZihan/Sim2Real-VLN-3DFF

💡 一句话要点

提出基于3D特征场的Sim-to-Real迁移方法，提升单目机器人视觉语言导航性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 Sim-to-Real 3D特征场 单目视觉 机器人导航 语义地图

📋 核心要点

  1. 现有VLN方法难以有效迁移到真实世界的单目机器人上，限制了其应用。
  2. 利用3D特征场预测可导航航点的视角表示，扩展单目机器人的视野范围。
  3. 实验表明，该方法在模拟和真实环境中均取得了优于现有单目VLN方法的结果。

📝 摘要（中文）

本文提出了一种用于视觉语言导航（VLN）的Sim-to-Real迁移方法，旨在解决单目机器人在此任务中的应用难题。VLN任务要求智能体根据自然语言指令在3D环境中导航至目标位置。现有方法通常在模拟器中训练和评估，缺乏有效的Sim-to-Real迁移策略。虽然全景视觉VLN模型性能更优，但难以部署在常见的单目机器人上。为此，本文提出一种新方法，赋予单目机器人全景可通行性感知和全景语义理解能力，从而将高性能全景VLN模型平滑迁移到单目机器人上。该方法通过语义可通行地图预测智能体中心的可导航航点，并通过3D特征场预测这些航点的新视角表示。实验结果表明，该VLN系统在模拟环境的R2R-CE和RxR-CE基准测试中优于先前的SOTA单目VLN方法，并在真实环境中得到验证，为真实世界的VLN提供了一种实用且高性能的解决方案。

🔬 方法详解

问题定义：现有的视觉语言导航（VLN）方法主要在模拟环境中训练，难以直接应用于真实世界的单目机器人。全景视觉VLN模型虽然性能较好，但部署在单目机器人上存在困难，因为单目机器人视野有限，难以获得全景信息。因此，如何将高性能的全景视觉VLN模型迁移到单目机器人上，是本文要解决的核心问题。

核心思路：本文的核心思路是赋予单目机器人全景可通行性感知和全景语义理解能力。具体来说，通过预测智能体中心的可导航航点，并利用3D特征场预测这些航点的新视角表示，从而扩展单目机器人的视野范围，使其能够像全景视觉模型一样进行导航。

技术框架：该方法主要包含两个关键模块：语义可通行地图预测模块和3D特征场视角表示预测模块。首先，语义可通行地图预测模块预测智能体中心的可导航航点。然后，3D特征场视角表示预测模块利用3D特征场预测这些航点的新视角表示。最后，将这些新视角表示输入到VLN模型中进行导航。

关键创新：该方法最重要的技术创新点在于利用3D特征场来预测可导航航点的新视角表示。与现有方法直接使用单目图像进行导航不同，该方法通过预测多个航点的视角表示，有效地扩展了单目机器人的视野范围，使其能够更好地理解周围环境。

关键设计：在语义可通行地图预测模块中，可以使用深度学习模型（如卷积神经网络）来预测每个像素的可通行性概率。在3D特征场视角表示预测模块中，可以使用神经辐射场（NeRF）等技术来学习场景的3D特征表示，并根据航点的位置和姿态预测其新视角表示。损失函数可以包括可通行性预测损失和视角表示重建损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在R2R-CE和RxR-CE模拟环境基准测试中，性能超越了之前的SOTA单目VLN方法。同时，该方法在真实世界环境中也进行了验证，证明了其在实际应用中的有效性。具体性能数据和提升幅度在论文中进行了详细展示，表明该方法为真实世界VLN提供了一种实用且高性能的解决方案。

🎯 应用场景

该研究成果可广泛应用于室内服务机器人、自动驾驶、增强现实等领域。例如，可以应用于家庭服务机器人，使其能够根据用户的语音指令在室内环境中自主导航。此外，该方法还可以应用于自动驾驶领域，帮助车辆更好地理解周围环境，提高导航的准确性和安全性。未来，该技术有望进一步发展，实现更复杂环境下的自主导航。

📄 摘要（原文）

Vision-and-language navigation (VLN) enables the agent to navigate to a remote location in 3D environments following the natural language instruction. In this field, the agent is usually trained and evaluated in the navigation simulators, lacking effective approaches for sim-to-real transfer. The VLN agents with only a monocular camera exhibit extremely limited performance, while the mainstream VLN models trained with panoramic observation, perform better but are difficult to deploy on most monocular robots. For this case, we propose a sim-to-real transfer approach to endow the monocular robots with panoramic traversability perception and panoramic semantic understanding, thus smoothly transferring the high-performance panoramic VLN models to the common monocular robots. In this work, the semantic traversable map is proposed to predict agent-centric navigable waypoints, and the novel view representations of these navigable waypoints are predicted through the 3D feature fields. These methods broaden the limited field of view of the monocular robots and significantly improve navigation performance in the real world. Our VLN system outperforms previous SOTA monocular VLN methods in R2R-CE and RxR-CE benchmarks within the simulation environments and is also validated in real-world environments, providing a practical and high-performance solution for real-world VLN.