WayFinder: Hierarchical Visual-Language-Action for Zero-Shot Waypoint Generation and Low-Level Kinematic Control

📄 arXiv: 2609.37922v1 📥 PDF

作者: Timothy K Johnsen, Marco Levorato

分类: cs.RO

发布日期: 2026-09-29

备注: 8 pages, 1 figure, 5 tables, Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

💡 一句话要点

提出WayFinder以解决自主机器人导航中的执行不可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言行动 自主导航 层次化框架 多模态大语言模型 运动控制 机器人技术 零-shot学习

📋 核心要点

  1. 现有的视觉语言行动模型在实际部署中常因执行不可靠和高昂的微调成本而面临挑战。
  2. WayFinder通过将高层任务推理与低层运动控制解耦，提出了一种无需微调的层次化VLA框架。
  3. 实验结果显示，WayFinder在不同复杂度环境中表现出更高的导航成功率，提升幅度达到27.45%。

📝 摘要（中文）

视觉语言行动（VLA）模型为自主机器人提供了前所未有的泛化能力，但在实际应用中常因执行不可靠和特定任务的微调成本高而受限。为此，本文提出了WayFinder，一个端到端的闭环层次VLA框架，通过将高层任务推理与低层运动控制解耦，避免了微调的需求。WayFinder利用零-shot的离线多模态大语言模型（MLLM）策略处理语言上下文和状态图以生成战略航点，同时轻量级的在线策略基于连续传感器反馈实时执行运动控制。我们在Microsoft AirSim中评估了WayFinder，测试了四种不同复杂度的环境和三种MLLM规模，结果表明WayFinder在导航可靠性上优于基线低层策略，成功率提高了27.45%。

🔬 方法详解

问题定义：本文旨在解决自主机器人在导航过程中执行不可靠和微调成本高的问题。现有方法在特定任务和机器人实现上往往需要大量的微调，限制了其在真实环境中的应用。

核心思路：WayFinder的核心思路是通过将高层次的任务推理与低层次的运动控制解耦，从而避免微调的需求。该方法利用零-shot的离线多模态大语言模型（MLLM）进行航点生成，同时采用轻量级的在线策略进行实时运动控制。

技术框架：WayFinder的整体架构包括两个主要模块：高层次的MLLM策略用于处理语言上下文和状态图生成航点，低层次的在线策略则基于传感器反馈执行运动控制。这种设计使得两者可以异步工作，提高了系统的响应速度和可靠性。

关键创新：WayFinder的关键创新在于其层次化的设计，成功解耦了高层次的任务推理与低层次的运动控制。这一方法与现有需要微调的策略相比，显著降低了计算成本并提高了导航成功率。

关键设计：在设计中，WayFinder采用了轻量级的在线控制策略，确保了高频率的实时运动控制。此外，通过在导航失败时仅查询高层次的MLLM，进一步减少了计算开销。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，WayFinder在Microsoft AirSim中测试的四种环境中，导航成功率相比基线低层策略提升了27.45%。这一显著的性能提升证明了其在实际应用中的有效性和可靠性。

🎯 应用场景

WayFinder的研究成果在自主导航、机器人控制和智能交通等领域具有广泛的应用潜力。其高效的导航策略能够提升机器人在复杂环境中的自主性和可靠性，未来可用于无人机、自动驾驶汽车等多种场景，推动智能交通系统的发展。

📄 摘要（原文）

Visual Language Action (VLA) models offer unprecedented generalization for autonomous robots; however, their real-world deployment is frequently bottlenecked by unreliable execution and the prohibitive computational cost of fine-tuning for specific robot embodiments and tasks. To bridge this gap, we propose WayFinder, an end-to-end, closed-loop hierarchical VLA framework that circumvents the need for fine-tuning by decoupling high-level task reasoning from low-level kinematic control. WayFinder utilizes a zero-shot, offboard Multimodal Large Language Model (MLLM) policy to process linguistic context and state maps for strategic waypoint generation. Asynchronously, a lightweight, onboard policy executes real-time kinematic control at high frequency based on continuous sensor feedback. We evaluate WayFinder in Microsoft AirSim, testing on four environments of varying complexity and three MLLM scales to balance prediction efficacy with computational efficiency. Our results demonstrate that WayFinder achieves superior navigation reliability compared to baseline low-level policies. By querying the high-level MLLM only during navigation failures, WayFinder eliminates the need for fine-tuning, minimizes expensive inferences, and significantly increases navigation success rates by up to 27.45%.