Touvigation: Embodied Adaptive Object Acquisition for Blind and Low-Vision Users in Unfamiliar Indoor Environments

📄 arXiv: 2609.21828v1 📥 PDF

作者: George Xi Wang, Xiangyu Li, Shaoyue Wen, Jiaqian Hu, Junan Xie, Yupeng Wang, Ziyue Shi, Qijun Chen, Maaike Bouwmeester, Yuhua Jin, Jing Qian

分类: cs.HC, cs.AI

发布日期: 2026-09-18

备注: 12 pages, including figures and references

💡 一句话要点

提出Touvigation以解决盲人和低视力用户在陌生室内环境中物体获取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 盲人辅助 低视力用户 物体获取 空间建模 视觉语言理解 多阶段指导 人机交互 智能辅助技术

📋 核心要点

  1. 盲人和低视力用户在陌生环境中获取物体时，现有的视觉语言助手存在延迟和不一致性的问题。
  2. Touvigation系统结合视觉语言理解与空间建模，提供适应性强的身体相对指导，提升用户体验。
  3. 实验结果表明，Touvigation在任务成功率和效率上均显著优于现有的多模态助手和无辅助搜索方法。

📝 摘要（中文）

盲人和低视力用户在陌生室内环境中定位和获取物体时面临诸多挑战。现有的基于视觉语言模型的助手虽然能提供语义描述，但可能引入延迟、幻觉以及与身体动作不一致的指导。本文提出了Touvigation，一个无手操作的物体获取系统，结合了视觉语言理解与持久的局部空间建模，提供低延迟的身体相对指导。通过与八名盲人和低视力参与者的访谈，设计了一个多阶段的指导框架，适应用户从定向、行走到触觉验证的过程。实验结果显示，Touvigation在12名参与者中实现了100%的任务成功率，显著优于多模态大型语言模型助手的58%和无辅助搜索的85%，同时减少了完成时间和认知负担。

🔬 方法详解

问题定义：本文旨在解决盲人和低视力用户在陌生室内环境中定位和获取物体的困难。现有方法如视觉语言模型助手存在延迟、幻觉和指导不一致等问题，导致用户体验不佳。

核心思路：Touvigation通过结合视觉语言理解与持久的局部空间建模，提供低延迟的身体相对指导，帮助用户更有效地获取物体。设计多阶段的指导框架，以适应用户在不同阶段的需求。

技术框架：系统主要包括三个模块：空间建模模块、视觉语言理解模块和多阶段指导模块。空间建模模块负责实时更新用户周围环境的空间信息，视觉语言理解模块解析用户的需求，而多阶段指导模块则根据用户的动作阶段提供相应的指导。

关键创新：Touvigation的核心创新在于其持久的空间建模能力和适应性指导框架，能够根据用户的动态行为调整指导策略，这与现有方法的静态指导形成鲜明对比。

关键设计：系统采用了高效的空间建模算法，结合深度学习技术进行视觉语言理解。损失函数设计上，强调了指导的准确性和实时性，以确保用户在获取物体时的流畅体验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Touvigation实现了100%的任务成功率，显著高于多模态大型语言模型助手的58%和无辅助搜索的85%。此外，Touvigation还有效减少了任务完成时间和用户的认知负担，展示了其在实际应用中的优越性。

🎯 应用场景

Touvigation系统具有广泛的应用潜力，尤其在盲人和低视力用户的日常生活中。它可以被集成到智能家居设备、移动应用或辅助技术中，帮助用户在陌生环境中更自主地获取物体，提升生活质量。未来，该技术还可能扩展到其他领域，如机器人导航和人机交互等。

📄 摘要（原文）

Blind and low-vision users often face challenges when locating and physically acquiring objects in unfamiliar indoor environments. Existing vision-language-model-based assistants can provide semantic descriptions but may introduce latency, hallucinations, and guidance that is poorly aligned with embodied action. We present Touvigation, a hands-free object acquisition system that combines vision-language understanding with persistent local spatial modeling to provide low-latency, body-relative guidance. Drawing on formative interviews with eight blind and low-vision participants, we design a multi-stage guidance framework that adapts spatial references as users transition from orienting, to walking, to reaching and tactile verification. We evaluated Touvigation with 12 blind and low-vision participants against a multimodal large-language-model assistant and unassisted search. Touvigation achieved 100% task success, compared with 58% for the multimodal assistant and 85% for unassisted search, while reducing completion time and cognitive workload. Our findings demonstrate how persistent spatial grounding and adaptive embodied guidance can improve object acquisition for blind and low-vision users.