AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

📄 arXiv: 2605.22816v1 📥 PDF

作者: Wenxuan Guo, Xiuwei Xu, Yichen Liu, Xiangyu Li, Hang Yin, Huangxing Chen, Wenzhao Zheng, Jianjiang Feng, Jie Zhou, Jiwen Lu

分类: cs.RO, cs.CV

发布日期: 2026-05-21

备注: Accepted to CVPR 2026. Project page: https://gwxuan.github.io/AwareVLN/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AwareVLN，通过自感知推理增强视觉语言导航能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 自感知推理 机器人导航 视觉语言模型 结构化推理

📋 核心要点

  1. 现有VLN方法缺乏对智能体状态、任务进度和环境关系的显式理解，限制了可解释性和泛化能力。
  2. AwareVLN通过引入自感知推理机制，使智能体能够理解自身状态和任务进度，实现更有效的导航。
  3. 实验表明，AwareVLN在多个数据集上显著优于现有方法，验证了自感知推理的有效性。

📝 摘要（中文）

视觉语言导航（VLN）要求智能体在视觉环境中根据语言指令进行移动。目前的方法利用视觉语言模型（VLMs）的推理能力进行端到端的动作预测，但缺乏对智能体、指令和场景之间关系的显式和可解释的理解。显式地构建场景地图进行启发式规划虽然直观，但依赖于额外的3D传感器，并阻碍了大规模的视觉语言预训练。为了弥合这一差距，我们提出了AwareVLN，一种新颖的框架，它为导航模型配备了自感知推理机制，使其能够以完全端到端和数据驱动的方式理解智能体的状态和任务进度。我们的方法包含两个关键创新：(1) 一个结构化推理模块，用于培养空间和任务导向的自感知；(2) 一个具有进度划分的自动数据引擎，用于有效的训练。在Habitat模拟器中的各种数据集上的大量实验表明，我们的AwareVLN显著优于以前最先进的视觉语言导航方法。

🔬 方法详解

问题定义：视觉语言导航（VLN）任务旨在让智能体根据给定的自然语言指令，在视觉环境中自主导航到目标位置。现有方法主要依赖于视觉语言模型的端到端预测，缺乏对智能体自身状态、任务进度以及环境关系的显式建模，导致导航过程难以解释，泛化能力受限。此外，依赖额外3D传感器的地图构建方法，不利于大规模视觉语言预训练。

核心思路：AwareVLN的核心思路是赋予智能体“自感知”能力，使其能够理解自身状态（例如当前位置、已完成的导航步骤）、任务进度（例如剩余指令、已完成指令）以及与环境的关系。通过这种自感知能力，智能体可以更有效地推理下一步动作，并提高导航的准确性和鲁棒性。

技术框架：AwareVLN包含两个主要模块：结构化推理模块和自动数据引擎。结构化推理模块负责构建智能体的自感知能力，它通过空间和任务导向的推理，显式地建模智能体与环境、指令之间的关系。自动数据引擎则通过进度划分，生成更有效的训练数据，提升模型的学习效率。整体流程是：输入视觉信息和语言指令，经过结构化推理模块进行自感知推理，输出下一步动作，并利用自动数据引擎进行训练。

关键创新：AwareVLN的关键创新在于引入了自感知推理机制，这与现有方法仅依赖于视觉语言模型的端到端预测有本质区别。通过显式地建模智能体的状态和任务进度，AwareVLN提高了导航的可解释性和鲁棒性。此外，自动数据引擎的设计也提升了训练效率。

关键设计：结构化推理模块的具体实现细节未知，但可以推测其可能包含注意力机制、图神经网络等技术，用于建模智能体与环境、指令之间的关系。自动数据引擎的进度划分策略也未知，但其目标是生成更具挑战性和信息量的训练数据。损失函数和网络结构等细节在论文中可能有所描述，但根据摘要信息无法得知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AwareVLN在Habitat模拟器上的多个VLN数据集上取得了显著的性能提升，超越了现有的state-of-the-art方法。具体的性能数据和提升幅度需要在论文中查找，但摘要强调了其显著优于现有方法。

🎯 应用场景

AwareVLN具有广泛的应用前景，例如服务机器人、自动驾驶、虚拟现实等领域。它可以应用于室内导航、户外探索、智能导览等场景，提升智能体在复杂环境中的自主导航能力。该研究的自感知推理机制也可以推广到其他视觉语言任务中，例如视觉问答、图像描述等。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) requires an agent to ground language instructions to its own movement within a visual environment. While state-of-the-art methods leverage the reasoning capabilities of Vision-Language Models (VLMs) for end-to-end action prediction, they often lack an explicit and explainable understanding of the relationships between the agent, the instruction, and the scene. Conversely, explicitly building a scene map for heuristic planning is intuitively appealing but relies on additional 3D sensors and hinders large-scale vision-language pre-training. To bridge this gap, we propose AwareVLN, a novel framework that equips the navigation model with a self-aware reasoning mechanism, enabling it to understand the agent's state and task progress in a fully end-to-end and data-driven manner. Our approach features two key innovations: (1) a structural reasoning module that fosters spatial and task-oriented self-awareness, and (2) an automatic data engine with progress division for effective training. Extensive experiments on various datasets in Habitat simulator show our AwareVLN significantly outperforms previous state-of-the-art vision-language navigation methods. Project page: https://gwxuan.github.io/AwareVLN/.