How Far Can GPT-6-Astra Go? Evaluating Capabilities in Zero-Shot Vision-and-Language Navigation

📄 arXiv: 2609.20116v2 📥 PDF

作者: Guangzhao Dai, Qi Wu, Bin Zhu

分类: cs.RO

发布日期: 2026-09-17 (更新: 2026-09-18)

备注: Technical Report

💡 一句话要点

提出GPT-6-Astra以解决零-shot视觉语言导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 零-shot学习 模型API 自主决策 环境感知 任务理解 机器人导航

📋 核心要点

  1. 现有的视觉语言导航方法在任务理解和自主执行方面存在显著差距，导致完成率不高。
  2. 论文提出的GPT-6-Astra系统通过直接模型API调用，采用观察-决策-执行的工作流程，简化了导航过程。
  3. 实验结果表明，GPT-6-Astra在50个验证集情节中取得了52.0%的成功率，显示出其在零-shot任务中的有效性。

📝 摘要（中文）

本研究探讨了GPT-6-Astra在零-shot视觉语言导航连续环境（VLN-CE）系统中的应用。该系统通过解释指令、评估环境和提出行动建议，采用观察-决策-执行的工作流程，且不依赖于特定的导航微调。评估涵盖了完整系统，包括上下文管理和行动控制。在Open-Nav使用的100个R2R-CE验证集未见集中的50个情节上进行评估，成功率达52.0%，SPL为48.9%，nDTW为70.8%。分析结果显示，系统在任务理解与自主完成之间存在差距，强调了将正确的局部判断转化为持续进展和适当停止的挑战。

🔬 方法详解

问题定义：本研究旨在解决视觉语言导航中的任务理解与自主执行之间的差距，现有方法往往依赖于特定的微调和复杂的代理架构，限制了其灵活性和适应性。

核心思路：GPT-6-Astra通过直接调用模型API，采用观察-决策-执行的简化工作流程，旨在提高系统的自主性和响应速度，减少对导航特定微调的依赖。

技术框架：系统整体架构包括三个主要模块：观察模块负责获取环境信息，决策模块基于指令和历史记录进行行动选择，执行模块则负责实施决策并反馈结果。

关键创新：最重要的创新在于无须特定的导航微调，直接利用模型API进行任务执行，显著提高了系统的灵活性和适应性。

关键设计：在参数设置上，系统通过选择性观察和反馈机制来优化决策过程，采用了适应性强的历史记录管理策略，以支持复杂环境中的决策制定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-6-Astra在50个未见情节中取得了52.0%的成功率，SPL为48.9%，nDTW为70.8%。这些结果表明，该系统在零-shot视觉语言导航任务中表现出色，尤其是在任务理解和执行的有效性上。

🎯 应用场景

该研究的潜在应用场景包括智能机器人导航、自动驾驶车辆以及人机交互系统等领域。通过提升视觉语言导航的自主性和灵活性，GPT-6-Astra有望在复杂环境中实现更高效的任务执行，推动相关技术的发展和应用。

📄 摘要（原文）

We study GPT-6-Astra in a zero-shot Vision-and-Language Navigation in Continuous Environments (VLN-CE) system, where it interprets instructions, assesses its surroundings, and proposes actions. The system uses a common observation--decision--execution workflow with direct model API calls, without a packaged agent harness or navigation-specific fine-tuning. In this workflow, each request receives selected observations, execution feedback, and retained progress records. Evaluation covers the complete system, including context management and action control. We evaluate the system on 50 of the 100 R2R-CE val-unseen episodes used by Open-Nav. It achieves a success rate of 52.0\%, an SPL of 48.9\%, and an nDTW of 70.8\%. Our analysis highlights three findings. First, recorded responses link landmarks and earlier actions to instructions using observations and supplied history. Second, reviews include requests for additional views and revisions of uncertain judgments. Third, the results suggest a gap between task understanding and autonomous completion: an unfinished crossing is recognized while rotation continues. At termination, 36.0\% of episodes succeed with a workflow-accepted STOP, while another 16.0\% meet the distance criterion at the step limit. These results highlight a central challenge: translating correct local judgments into sustained progress and appropriate stopping.