GPT-6-Astra in a Navigation Workflow: Behavioral Analysis in Zero-Shot Vision-and-Language Navigation in Continuous Environments

📄 arXiv: 2609.20116v1 📥 PDF

作者: Guangzhao Dai, Qi Wu, Bin Zhu

分类: cs.RO

发布日期: 2026-09-17

备注: Technical Report

💡 一句话要点

提出GPT-6-Astra以解决零-shot视觉语言导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 零-shot学习 GPT-6-Astra 机器人导航 环境感知 任务理解 动态决策 上下文管理

📋 核心要点

  1. 现有的视觉语言导航方法在处理复杂环境时常常面临任务理解与执行之间的脱节，导致成功率不高。
  2. 论文提出了一种基于GPT-6-Astra的零-shot视觉语言导航系统，利用观察-决策-执行的工作流程来提升导航能力。
  3. 实验结果显示，该系统在50个未见情节中取得了52.0%的成功率，表明其在复杂环境中的有效性和潜力。

📝 摘要（中文）

本研究探讨了GPT-6-Astra在连续环境中的零-shot视觉语言导航系统（VLN-CE），该系统能够解读指令、评估环境并提出行动建议。系统采用观察-决策-执行的工作流程，通过直接的模型API调用，而无需打包代理或导航特定的微调。评估涵盖了完整系统，包括上下文管理和行动控制。在Open-Nav使用的100个R2R-CE验证集中的50个未见情节上进行评估，成功率为52.0%，SPL为48.9%，nDTW为70.8%。分析结果显示，系统在任务理解与自主完成之间存在差距，强调了将正确的局部判断转化为持续进展和适当停止的挑战。

🔬 方法详解

问题定义：本研究旨在解决在复杂连续环境中进行视觉语言导航时，现有方法在任务理解与执行之间的脱节问题。现有系统往往依赖于特定的微调和打包代理，限制了其灵活性和适应性。

核心思路：论文的核心思路是利用GPT-6-Astra的强大语言理解能力，结合观察-决策-执行的工作流程，实现零-shot的导航能力。通过直接的模型API调用，系统能够实时解读指令并做出反应。

技术框架：整体架构包括三个主要模块：观察模块用于获取环境信息，决策模块用于分析指令并制定行动计划，执行模块则负责实施决策并反馈结果。每个请求都包含选定的观察、执行反馈和进度记录。

关键创新：最重要的技术创新在于无需特定的导航微调，直接利用模型API进行实时决策，提升了系统的灵活性和适应性。这一设计使得系统能够在多变的环境中有效工作。

关键设计：系统设计中采用了动态的上下文管理机制，以保持对环境和历史信息的跟踪。同时，执行反馈机制允许系统在执行过程中进行自我调整，确保决策的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-6-Astra在50个未见情节中取得了52.0%的成功率，SPL为48.9%，nDTW为70.8%。这些结果表明，该系统在视觉语言导航任务中表现出色，尤其是在无需特定微调的情况下，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用场景包括智能机器人导航、自动驾驶车辆、虚拟助手等领域。通过提升视觉语言导航的能力，能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We study GPT-6-Astra in a zero-shot Vision-and-Language Navigation in Continuous Environments (VLN-CE) system, where it interprets instructions, assesses its surroundings, and proposes actions. The system uses a common observation--decision--execution workflow with direct model API calls, without a packaged agent harness or navigation-specific fine-tuning. In this workflow, each request receives selected observations, execution feedback, and retained progress records. Evaluation covers the complete system, including context management and action control. We evaluate the system on 50 of the 100 R2R-CE val-unseen episodes used by Open-Nav. It achieves a success rate of 52.0\%, an SPL of 48.9\%, and an nDTW of 70.8\%. Our analysis highlights three findings. First, recorded responses link landmarks and earlier actions to instructions using observations and supplied history. Second, reviews include requests for additional views and revisions of uncertain judgments. Third, the results suggest a gap between task understanding and autonomous completion: an unfinished crossing is recognized while rotation continues. At termination, 36.0\% of episodes succeed with a workflow-accepted STOP, while another 16.0\% meet the distance criterion at the step limit. These results highlight a central challenge: translating correct local judgments into sustained progress and appropriate stopping.