VISTA: A Multimodal Egocentric Benchmark for Goal-Oriented Perception and Assistance to Blind and Low-Vision Users

📄 arXiv: 2610.22822v1 📥 PDF

作者: Noé Mosca, Mohamed Rayan Barhdadi, Muhammad Hamza, Joshua Yeh, Suryodaya Bikram Shahi, Zhiyan Li, Selim-Antoine Lali, Weiyue Li, Hasan Kurban, Erchin Serpedin, Gang Luo, Yue Zhang, Minghan Li, Mengyu Wang

分类: cs.CV

发布日期: 2026-10-16

备注: Code and dataset are available at https://harvard-ai-and-robotics-lab.github.io/VISTA

💡 一句话要点

提出VISTA基准以解决盲人和低视力用户的目标导向感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 视觉辅助 盲人导航 目标导向感知 自我中心录音 传感器融合 无障碍技术

📋 核心要点

  1. 现有的视觉模型评估基准未能充分测试其在盲人和低视力用户日常任务中的辅助能力，尤其缺乏对多模态输入的支持。
  2. 本文提出VISTA基准，整合多种传感器数据，提供丰富的任务注释，旨在提升视觉模型在目标导向辅助中的表现。
  3. 实验结果显示，尽管现有模型在场景描述上表现良好，但在生成有效的目标导向指导方面仍显不足，VISTA为此提供了新的评估标准。

📝 摘要（中文）

盲人和低视力用户在日常任务中面临诸多挑战，现有的AI助手未能有效测试视觉模型的辅助能力。现有基准主要依赖视觉和文本输入，缺乏对其他模态的支持，并且评估重点在场景理解和问答上，未能覆盖日常任务中的目标导向指导。为此，本文提出了VISTA（视觉障碍场景与任务注释），这是一个多模态的自我中心基准，旨在为盲人和低视力用户提供目标导向的辅助。VISTA包含约1000个通过Project Aria眼镜捕获的自我中心录音，提供同步的传感器流和多种注释，涵盖十个任务类别。实验表明，尽管现有模型能够描述自我中心场景，但在生成目标导向的辅助指导方面仍存在局限。

🔬 方法详解

问题定义：本文旨在解决现有视觉模型在盲人和低视力用户日常任务中的辅助能力不足的问题。现有基准主要依赖视觉和文本输入，缺乏对其他模态的支持，且评估内容有限。

核心思路：论文提出VISTA基准，通过整合多种传感器数据（如视线、惯性测量和空间轨迹），提供丰富的任务注释，以增强视觉模型在目标导向辅助中的能力。

技术框架：VISTA基准包含约1000个自我中心录音，提供六种传感器输入和三种不同类型的注释，覆盖十个任务类别。实验中评估了14个代表性的视觉-语言模型，并设计了一个轻量级的多模态模型基线。

关键创新：VISTA的主要创新在于其多模态整合能力，能够同时处理多种传感器输入，填补了现有基准在目标导向指导方面的空白。

关键设计：模型输入包括六种传感器流，注释涵盖目标定位和危险检测等任务，实验中采用零-shot评估方法，展示了模型在生成目标导向指导方面的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管现有视觉-语言模型在描述自我中心场景方面表现良好，但在生成有效的目标导向辅助指导时仍存在显著不足。VISTA基准为评估多模态模型提供了新的标准，推动了该领域的研究进展。

🎯 应用场景

该研究的潜在应用领域包括智能辅助设备、盲人导航系统和日常生活辅助工具。通过提升视觉模型的目标导向能力，VISTA能够显著改善盲人和低视力用户的生活质量，推动无障碍技术的发展。

📄 摘要（原文）

Blindness and low vision limit many people's ability to complete daily tasks, motivating AI assistants that provide useful guidance. Yet, existing benchmarks do not adequately test whether vision models can provide effective everyday assistance. In particular, i) existing benchmarks primarily rely on visual and textual inputs, with limited support for other modalities that are increasingly available in egocentric wearable devices such as gaze, inertial measurements, spatial trajectories, and others; and ii) existing evaluations emphasize scene understanding and question answering, with limited coverage of goal-conditioned guidance for blind and low-vision users across everyday tasks. To bridge this gap, we introduce VISTA (Visually Impaired Scene and Task Annotations), a multimodal egocentric benchmark for goal-oriented assistance for blind and low-vision users. VISTA contains $\sim$1,000 egocentric recordings captured with Project Aria glasses; each recording provides synchronized sensor streams, six of which serve as model inputs, and three different types of annotation, covering ten task categories (TC), from object localization to hazard detection. We evaluate 14 representative vision-language models zero-shot on VISTA and design a lightweight multimodal model baseline that integrates all six modalities. Experimental results show that, although existing models can often describe egocentric scenes, they remain limited in generating goal-directed assistive guidance. VISTA thus provides a benchmark for evaluating multimodal models that could improve everyday accessibility.