RoboFind: Multi-Agent Personalized Object Search for People Who Are Blind or Have Low Vision
作者: Ruiping Liu, Shaofang Quan, Qian Yin, Jingqi Zhang, Junwei Zheng, Yufan Chen, Di Wen, Weijia Fan, Kailun Yang, M. Saquib Sarfraz, Tamim Asfour, Kunyu Peng, Rainer Stiefelhagen
分类: cs.RO
发布日期: 2026-09-17 (更新: 2026-09-18)
💡 一句话要点
提出RoboFind以解决盲人和低视力用户的个性化物体搜索问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 个性化搜索 盲人辅助 多代理系统 物体识别 机器人技术 AR指导 语音交互
📋 核心要点
- 现有方法难以满足盲人和低视力用户对特定物品的个性化搜索需求，且验证物品身份的过程复杂。
- RoboFind通过多代理系统设计，结合智能手机和四足机器人，实现了高效的个性化物体搜索与验证。
- 在32个真实任务中，RoboFind的成功率为85.0%，显著降低了误报率，从75.0%降至5.0%。
📝 摘要（中文）
盲人和低视力用户常常需要定位特定的个人物品，而非同类物品的任意实例。为此，RoboFind提出了一种多代理框架，利用智能手机进行目标教学，四足机器人执行搜索。目标教学代理将指导下的手机录音转换为语义目标配置文件和可重用的多视图参考库，用户可以通过AR指导、语音和触觉反馈以及屏幕阅读器支持进行便捷的捕捉流程。在运行时，导航代理探索环境并提出候选目标，验证代理检查每个候选目标与存储参考的匹配情况，协调与恢复代理则完成任务或触发恢复和继续搜索。实验结果显示，RoboFind在32个真实机器人任务中成功率达到85.0%，显著优于基线的25.0%。
🔬 方法详解
问题定义：本论文旨在解决盲人和低视力用户在寻找特定个人物品时的困难，现有方法往往无法有效验证物品身份，导致用户依赖性不足。
核心思路：RoboFind的核心思路是通过多代理系统，将目标教学与物体搜索相结合，利用智能手机进行目标录制，四足机器人执行搜索任务，从而提高搜索的个性化和准确性。
技术框架：RoboFind的整体架构包括三个主要模块：目标教学代理、导航代理和验证代理。目标教学代理负责将用户的语音指令转换为语义目标配置文件，导航代理探索环境并提出候选目标，验证代理则对候选目标进行身份验证。
关键创新：RoboFind的主要创新在于其多代理设计，能够在搜索过程中实时验证物品身份，确保用户能够依赖搜索结果，这在现有方法中是缺乏的。
关键设计：系统中使用了AR指导、语音和触觉反馈等技术，确保用户在目标教学过程中的便利性。此外，设计了可重用的多视图参考库，以减少重复教学的需求。实验中采用了特定的参数设置和优化策略，以提高搜索效率和准确性。
🖼️ 关键图片
📊 实验亮点
在32个真实机器人任务中，RoboFind的成功率达到85.0%，显著高于基线的25.0%。同时，系统将误报率从75.0%降低至5.0%，显示出其在个性化物体搜索中的有效性和可靠性。
🎯 应用场景
RoboFind的研究成果具有广泛的应用潜力，特别是在辅助盲人和低视力用户的日常生活中。该系统可以集成到智能家居环境中，帮助用户快速找到个人物品，提升他们的生活质量。此外，RoboFind的技术框架也可扩展到其他领域，如老年人护理和智能机器人服务。未来，随着技术的进步，RoboFind有望实现更高的智能化和自动化水平。
📄 摘要（原文）
Blind and low-vision users often need to locate a specific personal object rather than an arbitrary instance of the same category. The task calls for a robot that can move through the space and reach viewpoints the user cannot, and for an accessible interface where the user says which object is meant and learns whether the right one was found. We present RoboFind, a multi-agent framework in which a smartphone teaches the target and a quadruped robot carries out the search. A Target Teaching Agent converts guided smartphone recordings into a semantic target profile and a reusable multi-view reference bank through an accessible capture flow with AR guidance, speech and haptic feedback, and screen-reader support, so later missions refer to a stored object without repeating the teaching process. At runtime, a Navigation Agent explores the environment and proposes candidate targets, a Verification Agent checks each candidate against the stored references, and a Coordination and Recovery Agent completes the mission or triggers recovery and continued search. Across 32 real-robot missions, RoboFind reaches 85.0% success against 25.0% for a reconstructed sequential first-stop baseline over 20 trials with ten targets, and reduces false success from 75.0% to 5.0%. On six shared targets it succeeds in 10/12 trials, against 5/12 for 12 independently executed GPT-6 Astra-only trials. These results show that the multi-agent design fits the demands of personalized object search, where verifying object identity before declaring completion is what makes the outcome something a user can rely on.