Mine Odyssey: Benchmarking Spatial Agentic Intelligence in the Wild
作者: Yuxuan Cao, Junlong Li, Hao Li, Junxian He
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出Mine Odyssey基准以评估空间智能代理在真实环境中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间智能 智能代理 基准测试 Minecraft 导航任务 真实环境 模型评估 任务设计
📋 核心要点
- 现有基准在空间布局、规模和遍历要求上覆盖有限，无法全面评估智能代理的空间智能。
- Mine Odyssey基准通过Minecraft重建真实世界位置，设计180个任务，涵盖多样的空间设置，以评估代理的空间智能。
- 实验结果显示，GPT-6 Astra的成功率为85.6%，而其他模型的表现则显示出当前智能代理在空间智能方面的提升空间。
📝 摘要（中文）
随着基础模型的进步，开发能够在物理世界中辅助人类的智能代理成为可能。这些代理需要具备空间智能，能够探索陌生环境、通过交互更新空间理解，并根据反馈调整行动以实现目标。现有基准仅覆盖有限的空间布局和要求。本文提出Mine Odyssey基准，通过Minecraft重建真实世界位置，包含180个任务，涵盖30个地点，分布在五大洲20个国家和地区，涉及多种空间规模和布局。每个任务提供自然语言指令，要求代理找到可达路径并完成导航。实验结果显示，GPT-6 Astra在八个评估模型中表现最佳，成功率为85.6%。
🔬 方法详解
问题定义：本文旨在解决现有智能代理在真实环境中空间智能评估不足的问题。现有基准无法全面覆盖多样的空间布局和复杂的导航任务。
核心思路：Mine Odyssey基准通过Minecraft重建真实世界的多样环境，设计一系列任务来评估代理的空间智能，强调代理在探索、导航和适应中的能力。
技术框架：该基准包含180个任务，覆盖30个真实世界位置，任务通过自然语言指令引导代理完成特定的导航目标，代理需找到路径、开门、上下楼层等。
关键创新：Mine Odyssey的创新在于其广泛的环境覆盖和任务设计，能够真实反映代理在复杂环境中的表现，与现有方法相比，提供了更具挑战性的评估标准。
关键设计：任务设计中，选择了重要的地标和可达性验证，确保每个任务的可行性和挑战性，代理需要在多种环境中灵活应对，提升其空间智能。
🖼️ 关键图片
📊 实验亮点
在对八个最先进模型的评估中，GPT-6 Astra以85.6%的成功率领先，Claude Opus 5.5紧随其后，完成73.9%的任务，而DeepSeek-V4.1-Flash的成功率仅为23.9%，显示出当前模型在空间智能方面的显著提升空间。
🎯 应用场景
Mine Odyssey基准的潜在应用领域包括机器人导航、智能助手和虚拟现实等。通过评估和提升代理的空间智能，能够在复杂环境中实现更高效的任务执行，推动智能代理在实际应用中的发展与普及。
📄 摘要（原文）
Advances in foundation models are driving efforts to introduce agents to assist people in the physical world. Such agents require agentic spatial intelligence: exploring unfamiliar environments, updating spatial understanding through interaction, and adapting actions based on feedback to sustain progress toward a sequence of goals. Existing benchmarks cover only a limited range of spatial layouts, scales, and traversal requirements. We introduce Mine Odyssey, a benchmark for evaluating agentic spatial intelligence using Minecraft reconstructions of real-world locations. It comprises 180 tasks covering 30 such locations across 20 countries and regions on five continents, including 20 outdoor and 10 indoor settings. These settings span diverse spatial scales, layouts, terrains, and connectivity patterns, from Midtown Manhattan and rural Entrup to Santa Lucía Hill and Buckingham Palace. We select meaningful waypoints, such as landmarks, buildings, and rooms, and manually verify their accessibility. Each task provides a natural-language instruction specifying which waypoints to visit and in what order. Completing these tasks requires agents to find accessible routes and entrances, open doors, and move between levels using stairs and ladders, while monitoring their progress and recovering from navigation errors. Across eight evaluated state-of-the-art models, GPT-6 Astra achieves the highest success rate of 85.6%. However, the second-best model, Claude Opus 5.5, completes 73.9% of tasks, while the strongest evaluated open-weight model, DeepSeek-V4.1-Flash, reaches 23.9%, highlighting substantial room for improvement in the agentic spatial intelligence of current models. Comprehensive analyses and ablation studies on Mine Odyssey reveal current models' limitations and provide insights for advancing agentic spatial intelligence.