GPT-6-Astra Lights Up Embodied Navigation: Evaluation in Zero-Shot Vision-and-Language Navigation in Continuous Environments

📄 arXiv: 2609.29861v2 📥 PDF

作者: Guangzhao Dai, Qianru Sun, Qi Wu, Bin Zhu

分类: cs.RO

发布日期: 2026-09-24 (更新: 2026-09-25)

备注: Technical report

💡 一句话要点

提出GPT-6-Astra以解决零-shot视觉语言导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 通用模型 单目RGB 零-shot学习 环境适应性 路径规划 智能机器人 自主导航

📋 核心要点

  1. 现有的视觉语言导航方法在处理不熟悉环境时表现不足，缺乏灵活性和适应性。
  2. 论文提出GPT-6-Astra模型，利用单目RGB图像进行导航决策，无需特定的导航微调或预构建场景地图。
  3. 实验结果表明，GPT-6-Astra在零-shot导航任务中取得了81.3%的成功率，显著优于现有基线。

📝 摘要（中文）

本研究探讨了通用基础模型GPT-6-Astra在不熟悉环境中利用自身感知、推理和决策能力进行导航的能力。我们重点评估了其在连续环境中的零-shot视觉语言导航（VLN-CE）表现，使用单目RGB图像进行导航决策。结果显示，GPT-6-Astra在R2R-CE-100数据集上取得了81.3%的成功率，超越了现有的零-shot和训练基础成功率。此外，模型在多阶段指令理解和环境适应方面表现出色，但仍存在执行和目标验证失败的问题。这些发现促使我们思考如何将通用模型能力与导航特定专业知识相结合，以提升未来的VLN研究。

🔬 方法详解

问题定义：本研究旨在解决在不熟悉环境中进行视觉语言导航的挑战，现有方法往往依赖于特定的训练或环境知识，限制了其适应性和灵活性。

核心思路：论文提出的核心思路是利用GPT-6-Astra模型的通用能力，通过单目RGB图像进行导航决策，避免了对导航特定知识的依赖，展现了模型的自我感知和推理能力。

技术框架：整体架构包括感知模块（单目RGB输入）、决策模块（基于推理的导航决策）和执行模块（控制移动和停止），通过Codex接口进行交互。

关键创新：最重要的技术创新在于GPT-6-Astra能够在没有特定微调的情况下，直接利用视觉输入进行有效的导航决策，这与现有方法依赖于大量训练数据和环境知识形成鲜明对比。

关键设计：模型在参数设置上采用了通用的训练策略，损失函数设计为适应导航任务的特定需求，同时网络结构上保持了GPT系列的灵活性和扩展性。通过这些设计，模型能够在复杂环境中进行有效的路径规划和目标验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-6-Astra在R2R-CE-100数据集上实现了81.3%的成功率，超越了现有零-shot方法15.3个百分点，并且在训练基础方法上提升了9.2个百分点，展现出强大的导航能力和灵活性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人导航、自动驾驶车辆、虚拟现实环境中的交互等。通过提升模型在不熟悉环境中的导航能力，未来可以实现更智能的自主系统，提升人机交互的自然性和灵活性。

📄 摘要（原文）

We investigate whether GPT-6-Astra, a general-purpose foundation model, can navigate unfamiliar environments using its own perception, reasoning, and decision-making capabilities. Our evaluation focuses on zero-shot vision-and-language navigation in continuous environments (VLN-CE) through a minimal interface in the Codex harness, aiming to unleash GPT-6-Astra's full potential for navigation. Using monocular RGB, GPT-6-Astra decides when to observe, how to move, and when to stop, without navigation-specific fine-tuning, a trained waypoint predictor, or a pre-built scene map. Our evaluation yields four key findings and implications. First, GPT-6-Astra achieves strong zero-shot navigation performance using only monocular RGB observations. On R2R-CE-100, GPT-6-Astra (ultra reasoning) achieves a success rate of 81.3%, exceeding the strongest reported zero-shot and even train-based success rates by 15.3 and 9.2 percentage points, respectively. Second, GPT-6-Astra exhibits promising capabilities in interpreting multi-stage instructions, understanding the environment, and adjusting routes. Third, execution and goal-verification failures persist even with ultra reasoning. Fourth, these results motivate combining general-purpose model capabilities with navigation-specific expertise. Based on these findings, future VLN research should investigate which aspects of instruction interpretation, spatial understanding, and navigation decision-making general-purpose models can handle directly, and where navigation-specific learning can extend their capabilities. This includes exploring how spatial representations, navigation experience, and learned control skills can improve progress tracking, error recovery, and goal verification while preserving the flexibility to adjust routes.