ShelfHelp: Empowering Humans to Perform Vision-Independent Manipulation Tasks with a Socially Assistive Robotic Cane
作者: Shivendra Agrawal, Suresh Nayak, Ashutosh Naik, Bradley Hayes
分类: cs.RO, cs.AI, cs.CV, cs.HC, cs.LG
发布日期: 2024-05-30
备注: 8 pages, 14 figures and charts
期刊: In AAMAS (pp. 1514-1523) 2023
💡 一句话要点
ShelfHelp：利用社交辅助机器人手杖帮助视障人士完成视觉独立的购物任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 社交辅助机器人 视力障碍辅助 机器人手杖 视觉产品定位 语音指导
📋 核心要点
- 视障人士独立购物面临挑战，现有计算机视觉方案难以应对海量商品和频繁新品更新。
- ShelfHelp系统通过机器人手杖，结合视觉产品定位算法和语音指导，辅助用户检索商品。
- 实验表明，该系统能有效定位商品并提供操作指导，用户体验良好，性能接近人工辅助。
📝 摘要（中文）
独立购物，尤其是在杂货店购物，对于维持高质量的生活至关重要。对于视力障碍者（PVI）来说，这可能尤其具有挑战性。商店里有成千上万种商品，仅在美国市场每年就推出大约30,000种新产品，这对现代计算机视觉解决方案也提出了挑战。在这项工作中，我们提出了一个概念验证的社交辅助机器人系统，我们称之为ShelfHelp，并提出了新颖的技术解决方案，以增强传统上用于导航任务的仪器化手杖，使其在购物领域具有额外的能力。ShelfHelp包括一种专为杂货店设计的新型视觉产品定位算法，以及一种新型规划器，该规划器自主发出口头操作指导命令，以在产品检索期间指导用户。通过一项人体实验，我们展示了该系统在定位和提供有效的操作指导以供新手用户检索所需产品方面的成功。我们比较了两种自主口头指导模式，其性能与人工辅助基线相当，并提出了令人鼓舞的发现，这些发现验证了我们系统的效率和有效性，并通过包括能力、智能和易用性在内的积极主观指标。
🔬 方法详解
问题定义：该论文旨在解决视力障碍者在杂货店等场景下独立购物的难题。现有方法，特别是依赖计算机视觉的方案，难以应对商品种类繁多、更新频繁的挑战，导致定位和检索目标商品困难。
核心思路：核心思路是利用一种社交辅助机器人手杖，结合视觉产品定位和语音指导，为视障人士提供购物辅助。通过手杖上的传感器和算法，系统能够识别目标商品的位置，并通过语音指令引导用户完成操作。
技术框架：ShelfHelp系统的整体框架包含以下几个主要模块：1) 仪器化手杖：配备传感器，用于收集环境信息。2) 视觉产品定位算法：用于在货架上定位目标商品。3) 规划器：生成操作指导命令，例如“向前移动”、“向左转”等。4) 语音输出模块：将操作指导命令转化为语音，传递给用户。
关键创新：该论文的关键创新在于将传统的导航手杖与视觉产品定位和语音指导相结合，形成一个完整的社交辅助机器人系统。这种集成方案能够有效地帮助视障人士完成购物任务，而无需依赖复杂的计算机视觉技术。
关键设计：视觉产品定位算法的具体细节未知，但可以推测其可能利用了商品标签、条形码或货架布局等信息。规划器可能采用了基于规则或基于优化的方法，生成一系列操作指导命令。语音输出模块需要保证语音清晰、易懂，并且能够根据用户的反馈进行调整。
🖼️ 关键图片
📊 实验亮点
人体实验结果表明，ShelfHelp系统能够成功定位目标商品，并提供有效的操作指导，帮助新手用户完成商品检索。两种自主语音指导模式的性能与人工辅助基线相当，用户对系统的能力、智能和易用性评价积极，验证了系统的效率和有效性。
🎯 应用场景
该研究成果可应用于辅助视障人士在超市、商场等场所独立购物，提高其生活质量和独立性。未来，该技术还可扩展到其他领域，如仓库拣货、医疗辅助等，帮助行动不便或有认知障碍的人群完成特定任务。此外，该研究也为社交辅助机器人系统的设计提供了新的思路。
📄 摘要（原文）
The ability to shop independently, especially in grocery stores, is important for maintaining a high quality of life. This can be particularly challenging for people with visual impairments (PVI). Stores carry thousands of products, with approximately 30,000 new products introduced each year in the US market alone, presenting a challenge even for modern computer vision solutions. Through this work, we present a proof-of-concept socially assistive robotic system we call ShelfHelp, and propose novel technical solutions for enhancing instrumented canes traditionally meant for navigation tasks with additional capability within the domain of shopping. ShelfHelp includes a novel visual product locator algorithm designed for use in grocery stores and a novel planner that autonomously issues verbal manipulation guidance commands to guide the user during product retrieval. Through a human subjects study, we show the system's success in locating and providing effective manipulation guidance to retrieve desired products with novice users. We compare two autonomous verbal guidance modes achieving comparable performance to a human assistance baseline and present encouraging findings that validate our system's efficiency and effectiveness and through positive subjective metrics including competence, intelligence, and ease of use.