Accessibility Scout: Personalized Accessibility Scans of Built Environments
作者: William Huang, Xia Su, Jon E. Froehlich, Yang Zhang
分类: cs.HC, cs.AI, cs.CV, cs.MA
发布日期: 2025-07-31
备注: 18 pages, 16 figures. Presented at ACM UIST 2025
💡 一句话要点
Accessibility Scout：基于LLM的个性化无障碍环境扫描系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无障碍环境评估 大型语言模型 人机协作 个性化推荐 计算机视觉
📋 核心要点
- 现有无障碍环境评估方法，如人工评估，效率低且难以规模化；自动机器学习方法则忽略了个体用户的个性化需求。
- Accessibility Scout利用大型语言模型，通过人机协作，根据用户的移动能力、偏好和环境兴趣，实现个性化无障碍扫描。
- 实验结果表明，Accessibility Scout能够生成个性化的无障碍扫描，其考虑因素超越了传统的ADA标准。
📝 摘要（中文）
评估陌生建筑环境的无障碍性对于残疾人士至关重要。然而，由用户或其个人健康专业人员执行的手动评估既费力又难以扩展，而自动机器学习方法通常忽略了个体用户的独特需求。大型语言模型（LLM）的最新进展为解决这个问题提供了新颖的方法，平衡了个性化和可扩展性，从而能够对无障碍性进行更具适应性和上下文感知的评估。我们提出了Accessibility Scout，这是一个基于LLM的无障碍扫描系统，可以从建筑环境的照片中识别无障碍问题。通过使用，Accessibility Scout成为一个越来越有能力的“无障碍侦察员”，通过协作式人机评估，根据个人的移动能力、偏好和特定的环境兴趣定制无障碍扫描。我们展示了三项研究的结果：一项包含六名参与者的形成性研究，用于指导Accessibility Scout的设计；一项对500张建筑环境图像的技术评估；以及一项包含10名不同移动能力的参与者的用户研究。我们的技术评估和用户研究结果表明，Accessibility Scout可以生成超出传统ADA考虑因素的个性化无障碍扫描。最后，我们总结了这项工作的意义以及构建更具可扩展性和个性化的物理世界无障碍评估的未来步骤。
🔬 方法详解
问题定义：论文旨在解决残疾人士在陌生建筑环境中进行无障碍评估时面临的挑战。现有方法，如人工评估，耗时耗力且难以扩展；而传统的自动机器学习方法无法充分考虑个体用户的个性化需求，例如不同的移动能力和偏好。因此，需要一种既能规模化又能提供个性化评估的解决方案。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大能力，结合人机协作，构建一个名为Accessibility Scout的无障碍扫描系统。该系统通过分析建筑环境的照片，识别潜在的无障碍问题，并根据用户的个性化信息（如移动能力、偏好等）进行定制化的评估。这样既能保证评估的准确性和个性化，又能提高评估的效率和可扩展性。
技术框架：Accessibility Scout系统的整体框架包含以下几个主要模块：1) 图像输入模块：接收建筑环境的照片作为输入。2) LLM分析模块：利用LLM对图像进行分析，识别潜在的无障碍问题，例如是否有坡道、扶手、障碍物等。3) 用户信息输入模块：接收用户的个性化信息，例如移动能力、偏好等。4) 个性化评估模块：根据LLM的分析结果和用户的个性化信息，生成定制化的无障碍评估报告。5) 人机协作模块：允许用户对评估结果进行反馈和修正，从而不断提高系统的准确性和个性化程度。
关键创新：Accessibility Scout的关键创新在于将大型语言模型应用于无障碍环境评估领域，并结合人机协作，实现了个性化和可扩展性的平衡。与传统的自动机器学习方法相比，Accessibility Scout能够更好地理解用户的个性化需求，并提供更准确、更全面的评估结果。此外，人机协作机制使得系统能够不断学习和改进，从而提高评估的准确性和个性化程度。
关键设计：论文中没有详细描述关键的参数设置、损失函数、网络结构等技术细节。但可以推测，LLM的选择和微调、用户个性化信息的编码方式、人机协作的交互设计等方面都可能存在关键的设计选择。例如，LLM可能需要针对无障碍环境评估任务进行微调，以提高其识别相关问题的能力。用户个性化信息可能需要进行合理的编码，以便LLM能够有效地利用这些信息进行个性化评估。人机协作的交互设计需要简洁明了，方便用户进行反馈和修正。
🖼️ 关键图片
📊 实验亮点
技术评估在500张建筑环境图像上进行，用户研究包含10名不同移动能力的参与者。结果表明，Accessibility Scout能够生成个性化的无障碍扫描，其考虑因素超越了传统的ADA标准。这表明该系统能够更好地满足个体用户的个性化需求，并提供更准确、更全面的评估结果。具体的性能数据和提升幅度在摘要和方法部分未详细给出，属于未知信息。
🎯 应用场景
Accessibility Scout具有广泛的应用前景，可用于帮助残疾人士更好地了解和评估陌生环境的无障碍性，从而提高他们的出行便利性和生活质量。该系统可以应用于各种场景，例如旅游、购物、就医等。此外，该系统还可以为建筑设计师和管理者提供有价值的反馈，帮助他们设计和改善建筑环境的无障碍性。未来，该系统有望成为构建更具包容性和无障碍的社会的重要工具。
📄 摘要（原文）
Assessing the accessibility of unfamiliar built environments is critical for people with disabilities. However, manual assessments, performed by users or their personal health professionals, are laborious and unscalable, while automatic machine learning methods often neglect an individual user's unique needs. Recent advances in Large Language Models (LLMs) enable novel approaches to this problem, balancing personalization with scalability to enable more adaptive and context-aware assessments of accessibility. We present Accessibility Scout, an LLM-based accessibility scanning system that identifies accessibility concerns from photos of built environments. With use, Accessibility Scout becomes an increasingly capable "accessibility scout", tailoring accessibility scans to an individual's mobility level, preferences, and specific environmental interests through collaborative Human-AI assessments. We present findings from three studies: a formative study with six participants to inform the design of Accessibility Scout, a technical evaluation of 500 images of built environments, and a user study with 10 participants of varying mobility. Results from our technical evaluation and user study show that Accessibility Scout can generate personalized accessibility scans that extend beyond traditional ADA considerations. Finally, we conclude with a discussion on the implications of our work and future steps for building more scalable and personalized accessibility assessments of the physical world.