VLN-AVP: Zero-Shot Vision-Language Navigation with Hybrid Long-Short-Term Memory for Autonomous Valet Parking

📄 arXiv: 2607.17767v1 📥 PDF

作者: Yijian Li, Xiangru Mu, Changze Li, Hantian Shi, Jiyuan Cai, Jia Cai, Xiaoxue Liu, Yajing Sun, Ming Yang, Tong Qin

分类: cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出VLN-AVP以解决自主代客泊车中的地图依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主代客泊车 视觉-语言导航 零-shot学习 鸟瞰视图 混合记忆系统 智能交通 自动驾驶

📋 核心要点

  1. 现有的自主代客泊车方法依赖于预构建地图，限制了其在未知环境中的应用能力。
  2. 提出VLN-AVP框架，通过结合鸟瞰视图模型和视觉-语言模型，实现零-shot导航，消除地图依赖。
  3. 实验结果显示，VLN-AVP在模拟环境中成功率提高超过25%，在真实场景中也表现出色，验证了其实用性。

📝 摘要（中文）

现有的自主代客泊车（AVP）方法通常依赖于预先构建的地图，这严重限制了其在未知环境和开放词汇目标上的扩展性。受到视觉-语言模型（VLMs）在视觉-语言导航（VLN）任务中应用的启发，我们提出了VLN-AVP，一个用于AVP任务的零-shot导航框架。通过结合鸟瞰视图（BEV）模型的精确空间感知与VLM的通用智能，我们的框架消除了对预构建地图的依赖，能够理解停车场景中的语义环境上下文，并根据自然语言指令进行直观导航。我们还引入了混合记忆系统，短期感知记忆追踪语义视觉线索，长期拓扑记忆则促进从过去经验中稳定策略学习。我们还提出了VLN-AVP数据集和基准，包含10个高保真停车场景和超过1000个导航回合，具有迄今为止最多的车库场景，并且是第一个针对地下停车的VLN基准。实验表明，在模拟中，我们的方法成功率比VLN方法提高了25%以上，比其他自主驾驶方法提高了15%以上，并在真实车辆实验中取得领先的成功率，证明了其实用性。

🔬 方法详解

问题定义：现有的自主代客泊车方法依赖于预构建地图，这限制了其在未知环境和开放词汇目标上的扩展性，导致导航能力不足。

核心思路：VLN-AVP框架通过结合鸟瞰视图模型的空间感知能力与视觉-语言模型的智能，消除了对地图的依赖，实现了基于自然语言指令的直观导航。

技术框架：该框架包括短期感知记忆和长期拓扑记忆两个主要模块。短期记忆用于追踪语义视觉线索，长期记忆则用于稳定策略学习。

关键创新：引入混合记忆系统，解决了现有方法中VLM单帧推理的局限性，提升了导航的准确性和稳定性。

关键设计：在模型设计中，采用了特定的损失函数以优化记忆模块的性能，并通过大量的训练数据来增强模型的泛化能力。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLN-AVP在模拟环境中的成功率比现有的视觉-语言导航方法提高了超过25%，相比其他自主驾驶方法提高了15%以上。此外，在真实车辆实验中，VLN-AVP也取得了领先的成功率，验证了其在实际应用中的可行性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶汽车和智能停车管理。通过实现无地图导航，VLN-AVP可以在各种复杂环境中提供更灵活的解决方案，提升用户体验和停车效率，未来可能对城市交通管理产生积极影响。

📄 摘要（原文）

Existing methods in Autonomous Valet Parking (AVP) typically rely on pre-built maps, which severely restricts their scalability to unseen environments and open-vocabulary targets. Inspired by the application of Vision-Language Models (VLMs) in Vision-Language Navigation (VLN) tasks, we propose VLN-AVP, a zero-shot navigation framework for AVP tasks. By combining the precise spatial perception of a Bird's-Eye-View (BEV) model with the general intelligence of VLMs, our framework 1) eliminates the dependency on pre-built maps, 2) interprets semantic environmental contexts in parking scenarios, and 3) enables intuitive navigation following natural language instructions. Specifically, we introduce a hybrid memory system: a short-term perception memory tracks semantic visual cues to address the limitations of VLM's single-frame reasoning in existing methods, while a long-term topological memory facilitates stable policy learning from past experiences. To bridge the gap in existing benchmarks, we also present the VLN-AVP dataset and benchmark. Featuring 10 high-fidelity parking scenes and over 1,000 navigation episodes, it has the largest number of garage scenes to date and is the first VLN benchmark for underground parking. Extensive experiments demonstrate that in simulation, our method achieves an over 25% improvement in success rate compared to VLN methods and an over 15% improvement compared to other autonomous driving methods. Furthermore, it attains a leading success rate in real-world vehicle experiments, proving its practical feasibility.