WMNav: Integrating Vision-Language Models into World Models for Object Goal Navigation
作者: Dujun Nie, Xianda Guo, Yiqun Duan, Ruijun Zhang, Long Chen
分类: cs.CV, cs.RO
发布日期: 2025-03-04 (更新: 2025-07-19)
备注: 8 pages, 5 figures
期刊: IROS 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
WMNav：融合视觉-语言模型与世界模型的物体目标导航框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物体目标导航 视觉-语言模型 世界模型 机器人导航 环境预测
📋 核心要点
- 物体目标导航任务面临挑战，现有基于视觉-语言模型的智能体缺乏模块化的世界模型设计，难以预测环境未来状态。
- WMNav通过融合视觉-语言模型与世界模型，预测决策结果并构建记忆，为导航策略提供反馈，降低与环境的交互成本。
- 实验结果表明，WMNav在HM3D和MP3D数据集上，成功率和探索效率均超越现有零样本基准，性能显著提升。
📝 摘要（中文）
本文提出了一种新颖的基于世界模型的导航框架WMNav，该框架由视觉-语言模型（VLM）驱动，用于解决物体目标导航问题。WMNav通过预测决策的可能结果并构建记忆来为策略模块提供反馈，从而减少与环境的交互。为了保持环境的预测状态，WMNav提出了在线维护的好奇值地图，作为世界模型记忆的一部分，为导航策略提供动态配置。通过分解成类似人类的思考过程，WMNav有效地减轻了模型幻觉的影响，基于世界模型计划和观察之间的反馈差异做出决策。为了进一步提高效率，我们实施了一个两阶段的动作提议策略：广泛探索，然后是精确定位。在HM3D和MP3D上的大量评估验证了WMNav在成功率和探索效率方面均优于现有的零样本基准（HM3D上绝对改进：+3.2% SR和+3.2% SPL，MP3D上+13.5% SR和+1.1% SPL）。
🔬 方法详解
问题定义：物体目标导航任务要求智能体在未见过的环境中定位特定物体。现有方法，特别是基于视觉-语言模型的方法，虽然在感知和决策方面取得进展，但缺乏一个完全模块化的世界模型设计。这导致智能体需要与环境进行大量交互才能学习，增加了风险和成本。现有方法容易受到模型幻觉的影响，导致导航失败。
核心思路：WMNav的核心思路是将视觉-语言模型（VLM）与世界模型相结合，构建一个能够预测环境未来状态的导航框架。通过预测决策的可能结果，并利用预测结果与实际观察之间的差异进行反馈，从而指导导航策略。这种方法旨在减少与环境的直接交互，并减轻模型幻觉的影响。
技术框架：WMNav的整体框架包含以下几个主要模块：1) 基于VLM的感知模块，用于理解环境信息和目标描述；2) 世界模型，用于预测环境的未来状态；3) 记忆模块，用于存储和检索历史经验；4) 策略模块，用于根据世界模型的预测和记忆信息做出导航决策；5) 两阶段动作提议模块，包含广域探索和精确定位两个阶段。框架通过在线维护的好奇值地图来动态配置导航策略。
关键创新：WMNav的关键创新在于将视觉-语言模型与世界模型进行深度融合，并引入在线维护的好奇值地图。这种融合使得智能体能够更好地理解环境和目标，并能够预测环境的未来状态。好奇值地图则提供了一种动态配置导航策略的机制，使得智能体能够更有效地探索环境。此外，两阶段动作提议策略也提高了探索效率。
关键设计：WMNav的关键设计包括：1) 使用VLM进行环境感知和目标理解；2) 构建世界模型来预测环境的未来状态；3) 使用好奇值地图来动态配置导航策略；4) 采用两阶段动作提议策略，先进行广域探索，然后进行精确定位。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
WMNav在HM3D和MP3D数据集上进行了广泛的评估，实验结果表明，WMNav在成功率（SR）和SPL（Success weighted by Path Length）指标上均优于现有的零样本基准。在HM3D上，WMNav的SR和SPL分别提高了3.2%。在MP3D上，WMNav的SR提高了13.5%，SPL提高了1.1%。这些结果表明，WMNav在物体目标导航任务中具有显著的优势。
🎯 应用场景
WMNav的研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。例如，在家庭服务机器人中，可以帮助机器人更有效地找到用户指定的物品。在自动驾驶领域，可以提高车辆在复杂环境中的导航能力。在虚拟现实中，可以为用户提供更真实的导航体验。该研究具有重要的实际价值和广阔的应用前景。
📄 摘要（原文）
Object Goal Navigation-requiring an agent to locate a specific object in an unseen environment-remains a core challenge in embodied AI. Although recent progress in Vision-Language Model (VLM)-based agents has demonstrated promising perception and decision-making abilities through prompting, none has yet established a fully modular world model design that reduces risky and costly interactions with the environment by predicting the future state of the world. We introduce WMNav, a novel World Model-based Navigation framework powered by Vision-Language Models (VLMs). It predicts possible outcomes of decisions and builds memories to provide feedback to the policy module. To retain the predicted state of the environment, WMNav proposes the online maintained Curiosity Value Map as part of the world model memory to provide dynamic configuration for navigation policy. By decomposing according to a human-like thinking process, WMNav effectively alleviates the impact of model hallucination by making decisions based on the feedback difference between the world model plan and observation. To further boost efficiency, we implement a two-stage action proposer strategy: broad exploration followed by precise localization. Extensive evaluation on HM3D and MP3D validates WMNav surpasses existing zero-shot benchmarks in both success rate and exploration efficiency (absolute improvement: +3.2% SR and +3.2% SPL on HM3D, +13.5% SR and +1.1% SPL on MP3D). Project page: https://b0b8k1ng.github.io/WMNav/.