EgoPathBench: Evaluating Zero-Shot Egocentric Waypoint Decision-Making in Vision-Language Models
作者: Yang Zhao, Zhuo Chen, Xubo Yang
分类: cs.CV
发布日期: 2026-09-15
备注: 18 pages, including supplementary material
💡 一句话要点
提出EgoPathBench以解决零-shot自我中心路径决策问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 视觉-语言模型 路径规划 自我中心导航 综合评估 机器人决策 数据集构建 空间智能
📋 核心要点
- 现有的空间智能基准无法直接评估模型在路径导航中的综合能力，导致模型在实际应用中表现不佳。
- 论文提出EgoPathBench数据集和五任务基准，专注于第一人称路径决策，结合视觉和语言信息进行综合评估。
- 通过对九个视觉-语言模型的评估，发现当前模型在形成完整、目标一致的路径方面仍然有限，提升幅度显著。
📝 摘要（中文）
零-shot路径导航要求视觉-语言模型从当前第一人称观察中选择一系列可行的空间动作以达到目标，这对当今基础视觉-语言模型的综合空间智能提出了共同要求。现有的空间智能基准主要评估孤立的关系、方向或目标判断，因此无法直接测量结合目标识别、动作后果评估、距离估计和路径规划所需的综合导航能力。为填补这一评估空白，我们引入了EgoPathBench，一个用于第一人称路径决策的五任务基准数据集。该数据集包含31,852个训练问题、1,345个验证问题和1,111个基准问题，并为每个路径问题保留至少一条几何验证的参考路径。
🔬 方法详解
问题定义：本论文旨在解决现有视觉-语言模型在零-shot自我中心路径决策中的不足，尤其是在综合导航能力方面的评估缺失。现有方法主要关注孤立的空间判断，无法有效应对复杂的路径规划任务。
核心思路：论文提出EgoPathBench数据集，设计了五个任务以综合评估模型在第一人称导航中的表现，要求模型从图像和自然语言目标中选择可行的路径。
技术框架：EgoPathBench的整体架构包括问题生成、模型预测和评估三个主要模块。每个问题由RGB图像、自然语言目标和可见路径组成，模型需返回可行的候选路径或有序路线。
关键创新：EgoPathBench的最大创新在于其综合评估模型在路径决策中的能力，特别是在目标识别、动作后果评估和路径规划的结合上，与现有方法相比，提供了更全面的评估标准。
关键设计：在数据集构建中，确保每个路径问题至少有一条几何验证的参考路径，评估指标包括候选路径的可行性、相邻边的合法性和目标到达情况。
🖼️ 关键图片
📊 实验亮点
在对九个视觉-语言模型的评估中，最高EgoPath Score仅为28.3，最优模型在Point Path任务上成功率为35.9%，而在Embodied Path和Intent Path任务上的成功率仅为2.9%和4.0%。通过对Qwen 3.5 4B模型的微调，EgoPath Score从3.9提升至38.9，所有四个评估指标均有所改善，提升幅度在1.4至9.6分之间。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和虚拟现实等场景，能够提升智能体在复杂环境中的自主决策能力。通过改进路径决策能力，未来可在多种实际应用中实现更高效的导航和交互。
📄 摘要（原文）
Zero-shot waypoint navigation requires vision-language models to select, from the current first-person observation, a sequence of spatial actions that is feasible for the agent and reaches the goal, placing joint demands on the integrated spatial intelligence of today's foundation VLMs. Existing spatial-intelligence benchmarks primarily evaluate isolated judgments of relations, directions, or targets and therefore do not directly measure the integrated navigation ability required to combine target recognition, action-consequence assessment, distance estimation, and path planning. To fill this evaluation gap, we introduce EgoPathBench, a dataset and five-task benchmark for first-person waypoint decision-making. Each question presents an egocentric RGB image, a natural-language goal, and numbered visible waypoints; a model returns traversable candidates or an ordered route. Predictions are evaluated for candidate feasibility, adjacent-edge legality, and goal arrival under point-agent or embodied geometry. EgoPathBench contains 31,852 training, 1,345 validation, and 1,111 benchmark questions and retains at least one geometrically verified reference route for every route question. Across nine VLMs, the highest EgoPath Score is only 28.3. The top-ranked model reaches 35.9% success on Point Path, but only 2.9% and 4.0% on Embodied Path and Intent Path, respectively, showing that current models remain limited in forming complete, goal-consistent routes under embodiment constraints. Beyond the evaluation data, we release the corresponding training resource. Fine-tuning Qwen 3.5 4B on the released training split raises its EgoPath Score from 3.9 to 38.9 and improves all four reported evaluations across three external spatial benchmarks, with gains of 1.4--9.6 points.