GPT-6-Astra Lights Up Embodied Navigation: Evaluation in Zero-Shot Vision-and-Language Navigation in Continuous Environments

📄 arXiv: 2609.29861v1 📥 PDF

作者: Guangzhao Dai, Qianru Sun, Qi Wu, Bin Zhu

分类: cs.RO

发布日期: 2026-09-24

备注: Technical report

💡 一句话要点

提出GPT-6-Astra以解决零-shot视觉语言导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 零-shot学习 单目RGB 自主导航 基础模型 具身智能 机器人技术

📋 核心要点

  1. 现有的导航方法在处理不熟悉环境时表现不足，尤其是在缺乏导航特定微调的情况下。
  2. 本研究提出GPT-6-Astra，通过单目RGB图像实现零-shot视觉语言导航，具备自主观察和决策能力。
  3. 实验结果表明，GPT-6-Astra在R2R-CE基准测试中成功率达到79.0%，显著超越了现有方法的表现。

📝 摘要（中文）

本研究探讨了通用基础模型GPT-6-Astra在不熟悉环境中的导航能力，重点评估其在连续环境中的零-shot视觉语言导航（VLN-CE）表现。通过Codex接口，GPT-6-Astra利用单目RGB图像进行观察、移动和停止决策，无需特定的导航微调或预构建场景地图。实验结果显示，GPT-6-Astra在R2R-CE基准测试中取得79.0%的成功率，超越了现有的零-shot和监督学习的成功率，展现了其在多阶段语言指令下的适应性导航能力。尽管如此，可靠的路线执行和目标验证仍然面临挑战，未来的研究应基于基础模型推动可推广的具身智能发展。

🔬 方法详解

问题定义：本研究旨在解决在不熟悉环境中进行有效导航的挑战，现有方法通常依赖于特定的导航微调或预构建的场景地图，限制了其适应性和通用性。

核心思路：论文提出GPT-6-Astra模型，利用其强大的感知、推理和决策能力，直接从单目RGB图像中进行导航决策，避免了对传统导航方法的依赖。

技术框架：整体架构包括感知模块（处理单目RGB输入）、决策模块（进行移动和停止决策）以及反馈模块（根据环境反馈调整行为），形成一个闭环的导航系统。

关键创新：GPT-6-Astra的最大创新在于其无需特定的导航微调，能够在零-shot条件下实现高效的导航，显著提升了导航的灵活性和适应性。

关键设计：模型设计中采用了超推理机制，结合空间关系的基础理解，确保在复杂环境中能够有效跟踪任务进展并调整行动策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-6-Astra在R2R-CE基准测试中取得79.0%的成功率，超越了现有零-shot方法13.0个百分点和监督学习方法6.9个百分点，展现了其在多阶段语言指令下的适应性导航能力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能家居系统和增强现实等。通过提升模型在不熟悉环境中的导航能力，未来可以实现更智能的自主系统，推动智能设备在复杂环境中的应用价值。

📄 摘要（原文）

We investigate whether GPT-6-Astra, a general-purpose foundation model, can navigate unfamiliar environments using its own perception, reasoning, and decision-making capabilities. Our evaluation focues on zero-shot vision-and-language navigation in continuous environments (VLN-CE) through a minimal interface in the Codex harness, aiming to unleash GPT-6-Astra's full potential for navigation. Using monocular RGB, GPT-6-Astra decides when to observe, how to move, and when to stop, without navigation-specific fine-tuning, a trained waypoint predictor, or a pre-built scene map. Our evaluation yields four main findings. First, \textbf{\textit{GPT-6-Astra achieves strong zero-shot navigation performance using only monocular RGB observations}}. On the common-adopted zero-shot R2R-CE benchmark, ultra reasoning achieves a success rate of \textbf{\textit{79.0\%}}, exceeding the strongest reported zero-shot and supervised success rates by \textbf{\textit{13.0}} and \textbf{\textit{6.9}} percentage points, respectively. Second, \textbf{\textit{GPT-6-Astra advances multi-stage language instructions into coherent, adaptive navigation}} by grounding spatial relations, tracking task progress, and revising its actions. Third, \textbf{\textit{reliable route execution and goal verification remain challenging, even with ultra reasoning}}. Plausible local landmark matches do not consistently lead to correct task completion. Fourth, \textbf{\textit{these capabilities motivate rethinking the role of embodied learning}}. Future VLN research should build on foundation models to advance generalizable and reliable embodied intelligence.