VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance

📄 arXiv: 2607.14660v1 📥 PDF

作者: Yunfeng Liu, Yuandong Yang, Jiarui Han, Zhenpeng Huang, Yuqing Tang, Xiangyu Zeng, Gangshan Wu, Limin Wang

分类: cs.CV

发布日期: 2026-07-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出VIABench以解决视觉障碍者辅助问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉障碍辅助 多模态大语言模型 视频基准 主动提醒 视觉问答 视觉引导交互 实时响应

📋 核心要点

  1. 视觉障碍者在获取视觉信息方面面临重大挑战，现有的多模态大语言模型在实际应用中效果有限。
  2. 本文提出VIABench，一个综合视频基准，专门用于评估MLLMs在视觉障碍辅助场景中的能力，定义了三个核心任务。
  3. 实验表明，当前MLLMs在主动提醒任务中表现不佳，尤其是在实时响应和准确预测方面，亟需改进。

📝 摘要（中文）

视觉障碍者在日常生活中面临显著挑战，主要由于对视觉信息的获取有限。尽管多模态大语言模型（MLLMs）在一般视觉和语言任务上取得了显著成果，但其在实际盲人辅助中的应用仍未得到充分探索。为填补这一空白，本文提出了VIABench，一个专门设计的综合视频基准，旨在评估MLLMs在视觉障碍辅助场景中的表现。VIABench定义了三个核心任务，分别是主动提醒、视觉问答和视觉引导交互。实验结果表明，当前的MLLMs在主动提醒任务中表现不佳，尤其是在准确预测和实时响应方面。希望VIABench能推动未来研究，开发针对实际辅助的定制化MLLMs，改善视觉障碍者的导航和交互体验。

🔬 方法详解

问题定义：本文旨在解决视觉障碍者在日常生活中对视觉信息获取的不足，现有的多模态大语言模型在实际辅助场景中的应用效果不理想，尤其是在实时响应和预测方面存在挑战。

核心思路：提出VIABench基准，专注于评估MLLMs在视觉障碍辅助中的能力，通过定义主动提醒、视觉问答和视觉引导交互三个任务，填补现有研究的空白。

技术框架：VIABench的整体架构包括数据收集、任务定义和评估指标，支持在线和离线评估。数据主要来源于视觉障碍者的第一人称视频，确保真实场景的有效性。

关键创新：VIABench的最大创新在于其专门针对视觉障碍者的实际需求设计的任务，尤其是主动提醒任务的引入，强调了模型在实时环境中预测和响应的能力。

关键设计：在任务设计中，采用了特定的评估指标和损失函数，以确保模型在不同任务中的表现能够被准确衡量，尤其是在主动提醒任务中对预测准确性的严格要求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前的多模态大语言模型在主动提醒任务中表现不佳，准确预测和实时响应的能力仍需提升。与基线模型相比，VIABench提供了更为严格的评估标准，揭示了现有模型在实际应用中的局限性。

🎯 应用场景

该研究的潜在应用领域包括智能辅助设备、导航系统和社交机器人等，能够为视觉障碍者提供更为精准和实时的辅助信息，提升他们的生活质量。未来，随着定制化MLLMs的发展，可能会在更广泛的场景中应用，进一步改善视觉障碍者的导航和交互体验。

📄 摘要（原文）

Visually impaired individuals (VIIs) encounter significant daily challenges due to limited access to visual information. Although Multimodal Large Language Models (MLLMs) have achieved impressive results on general vision and language tasks, their practical utility in real-world blind assistance still remains largely underexplored. To fill this gap, we introduce VIABench, a comprehensive video benchmark specifically designed to evaluate MLLMs in Visually Impaired Assistance scenarios using first-person videos recorded or shared by VIIs themselves. VIABench defines three core tasks, each targeting a distinct requirement in visual assistance. Proactive Reminder: Assesses the model's ability to interpret ongoing video content while proactively anticipating and verbally describing upcoming navigation-critical events; Visual Question Answering (VQA): Evaluates the model's capacity to answer user-posed questions about the environment or objects within the video; Vision-Guided Interaction: Tests context-aware reasoning to accomplish intentional interactions between user and environment. To ensure a robust and fair evaluation, we propose a rigorous benchmarking pipeline that supports both online (real-time) and offline settings. Our experiments demonstrate that current MLLMs still struggle to deliver comprehensive support for VIIs, especially in the Proactive Reminder task, which demands accurate anticipation and real-time responsiveness. We hope VIABench will drive future research toward developing customized MLLMs for real-world assistance, ultimately improving navigation and interaction experiences for visually impaired individuals. Code and data will be released at https://github.com/MCG-NJU/VIABench.