SimpleVLN: Towards Simple and Frontier Vision-Language Navigation

📄 arXiv: 2610.23203v1 📥 PDF

作者: Lingyi Hong, Weiren Cai, Jiayu Chen, Xinyu Zhou, Bailin He, Yunfei Guo, Qiao Sun, Boyu Ma, Jianfei Yang, Wenqiang Zhang

分类: cs.RO

发布日期: 2026-10-16

备注: homepage: https://simplevln.github.io/

💡 一句话要点

提出SimpleVLN以解决视觉语言导航中的架构限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 多模态大语言模型 架构保留 数据构建 优化流程 智能体决策 长时间决策

📋 核心要点

  1. 现有视觉语言导航方法通常依赖于特定任务的架构，限制了多模态大语言模型的潜力。
  2. SimpleVLN通过结合单轮决策与固定预算的全局-局部记忆，优化了导航历史的使用，避免了上下文无限增长。
  3. 在R2R-CE和RxR-CE数据集上，SimpleVLN分别取得76.7%和80.1%的成功率，显著超越了现有方法。

📝 摘要（中文）

视觉语言导航（VLN）要求具身智能体将语言与视觉观察结合，并进行长时间决策。现有方法通常依赖于特定任务的架构。随着多模态大语言模型（MLLMs）能力的提升，本文提出了SimpleVLN，一个架构保留的框架，旨在通过导航形式、数据构建和优化的研究来有效利用原生MLLMs的潜力。SimpleVLN结合单轮决策输入与固定预算的全局-局部记忆，优化了导航历史的使用，并通过专家演示与策略依赖的DAgger经验生成大规模任务。实验结果表明，SimpleVLN在多个MLLM骨干网络上表现出色，成功率显著高于现有方法。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航中现有方法对特定任务架构的依赖，导致多模态大语言模型潜力未被充分挖掘的问题。

核心思路：SimpleVLN通过将单轮决策输入与固定预算的全局-局部记忆结合，优化了导航历史的使用，设计了高效的输出机制，以支持多原始动作的生成。

技术框架：SimpleVLN的整体架构包括三个主要模块：导航形式的优化、数据构建的可扩展性以及逐步的优化流程，确保了从动作模仿到任务级结果优化的有效性。

关键创新：SimpleVLN的核心创新在于其架构保留特性，能够在不依赖特定任务架构的情况下，充分发挥原生MLLM的导航能力。

关键设计：在数据构建中，结合了专家演示与策略依赖的DAgger经验，采用了可扩展的合成管道，确保了大规模任务的生成。优化过程中，使用了逐步的IL-DAgger-RL流程，确保了从模仿学习到任务优化的有效转变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE和RxR-CE数据集上，SimpleVLN分别达到了76.7%和80.1%的成功率，显著优于现有方法，展示了其在视觉语言导航任务中的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等，能够在复杂环境中实现更高效的导航与决策。未来，SimpleVLN有望推动多模态学习和人机交互的进一步发展，提升智能体的自主性与智能水平。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) requires embodied agents to ground language in visual observations and make long-horizon decisions. Existing methods often address these demands through task-specific architectures. As multimodal large language models (MLLMs) become increasingly capable, an important question remains: Have we truly unlocked the potential of native MLLMs for VLN before introducing task-specific architecture? We present SimpleVLN, an architecture-preserving framework developed through studies of navigation formulation, data construction, and optimization. At the formulation level, SimpleVLN combines single-turn decision inputs with fixed-budget global-local memory to efficiently use navigation history without unbounded context growth, while action chunks enable efficient output of multiple primitive actions per model invocation. For data construction, we combine expert demonstrations with policy-dependent DAgger experience and develop a scalable synthesis pipeline that generates large-scale tasks for reinforcement learning. At the optimization level, a progressive IL-DAgger-RL pipeline advances from action imitation to task-level outcome optimization. Comprehensive experiments validate the effectiveness of these three aspects. We instantiate SimpleVLN across multiple MLLM backbones and model sizes, demonstrating its generality. SimpleVLN achieves 76.7% and 80.1% success rates on the R2R-CE and RxR-CE splits, respectively, substantially outperforming existing methods. These results show that the navigation capabilities of native MLLMs can be effectively unlocked without task-specific architectural designs.