RoboFind: Multi-Agent Personalized Object Search for People Who Are Blind or Have Low Vision
作者: Ruiping Liu, Shaofang Quan, Qian Yin, Jingqi Zhang, Junwei Zheng, Yufan Chen, Di Wen, Weijia Fan, Kailun Yang, M. Saquib Sarfraz, Tamim Asfour, Kunyu Peng, Rainer Stiefelhagen
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出RoboFind以解决盲人及低视力者的个性化物体搜索问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 个性化物体搜索 多代理系统 盲人辅助技术 四足机器人 目标教学 环境探索 身份验证
📋 核心要点
- 现有方法难以满足盲人和低视力用户对特定物品的个性化搜索需求，常常导致错误识别和低成功率。
- RoboFind通过多代理系统，结合智能手机和四足机器人，实现了高效的个性化物体搜索，用户可通过语音指令进行交互。
- 在32次真实任务中，RoboFind的成功率达到85.0%，相较于基线提升了60.0%，并将错误成功率从75.0%降低至5.0%。
📝 摘要（中文）
盲人和低视力用户通常需要定位特定的个人物品，而非同类物品的任意实例。为此，RoboFind提出了一种多代理框架，其中智能手机负责目标教学，四足机器人执行搜索。目标教学代理通过可访问的捕获流程，将引导的智能手机录音转换为语义目标档案和可重用的多视角参考库。运行时，导航代理探索环境并提出候选目标，验证代理检查每个候选目标的身份，协调与恢复代理完成任务或触发恢复和继续搜索。实验结果显示，RoboFind在32个真实机器人任务中成功率达到85.0%，显著优于基线的25.0%。
🔬 方法详解
问题定义：本论文旨在解决盲人和低视力者在寻找特定个人物品时面临的挑战。现有方法往往无法提供个性化的搜索体验，导致用户在物体识别上频繁出现错误。
核心思路：RoboFind的核心思路是通过多代理系统，将目标教学与物体搜索相结合。智能手机作为目标教学代理，帮助用户定义目标，而四足机器人则负责在环境中执行搜索任务。
技术框架：RoboFind的整体架构包括三个主要模块：目标教学代理、导航代理和验证代理。目标教学代理负责生成语义目标档案，导航代理探索环境并提出候选目标，验证代理则对候选目标进行身份验证。
关键创新：RoboFind的最大创新在于其多代理设计，能够在个性化物体搜索中有效地验证物体身份，确保用户能够信赖搜索结果。这一设计与传统方法的单一代理模式形成鲜明对比。
关键设计：在技术细节上，RoboFind采用了可访问的捕获流程，结合AR指导、语音和触觉反馈，以及屏幕阅读器支持，确保用户能够轻松参与目标教学过程。
🖼️ 关键图片
📊 实验亮点
在32次真实机器人任务中，RoboFind的成功率达到85.0%，显著高于基线的25.0%。同时，错误成功率从75.0%降低至5.0%，在六个共享目标上成功率为10/12次，显示出其在个性化物体搜索中的有效性。
🎯 应用场景
RoboFind的研究成果在盲人和低视力者的日常生活中具有重要应用价值。通过提供个性化的物体搜索解决方案，RoboFind能够帮助用户更独立地完成日常任务，提升生活质量。此外，该技术还可扩展到其他需要个性化搜索的领域，如智能家居和辅助机器人。
📄 摘要（原文）
Blind and low-vision users often need to locate a specific personal object rather than an arbitrary instance of the same category. The task calls for a robot that can move through the space and reach viewpoints the user cannot, and for an accessible interface where the user says which object is meant and learns whether the right one was found. We present RoboFind, a multi-agent framework in which a smartphone teaches the target and a quadruped robot carries out the search. A Target Teaching Agent converts guided smartphone recordings into a semantic target profile and a reusable multi-view reference bank through an accessible capture flow with AR guidance, speech and haptic feedback, and screen-reader support, so later missions refer to a stored object without repeating the teaching process. At runtime, a Navigation Agent explores the environment and proposes candidate targets, a Verification Agent checks each candidate against the stored references, and a Coordination and Recovery Agent completes the mission or triggers recovery and continued search. Across 32 real-robot missions, RoboFind reaches 85.0% success against 25.0% for a reconstructed sequential first-stop baseline over 20 trials with ten targets, and reduces false success from 75.0% to 5.0%. On six shared targets it succeeds in 10/12 trials, against 5/12 for 12 independently executed GPT-6 Astra-only trials. These results show that the multi-agent design fits the demands of personalized object search, where verifying object identity before declaring completion is what makes the outcome something a user can rely on.