MindEye-OmniAssist: A Gaze-Driven LLM-Enhanced Assistive Robot System for Implicit Intention Recognition and Task Execution
作者: Zejia Zhang, Bo Yang, Xinxing Chen, Weizhuang Shi, Haoyuan Wang, Wei Luo, Jian Huang
分类: cs.RO, cs.HC
发布日期: 2025-03-17 (更新: 2025-08-19)
💡 一句话要点
MindEye-OmniAssist：基于注视驱动和LLM增强的辅助机器人系统，用于隐式意图识别和任务执行
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 辅助机器人 注视追踪 意图识别 大型语言模型 人机交互
📋 核心要点
- 现有基于注视的辅助系统功能单一，仅限于抓取等简单动作，且意图识别能力不足，难以应对复杂任务。
- 提出MindEye-OmniAssist系统，利用LLM和视觉基础模型，通过注视输入识别用户意图，并生成动作序列辅助完成任务。
- 真实世界实验表明，该系统在多种未定义任务中取得了较高的成功率，验证了其在提升辅助系统通用性和有效性方面的潜力。
📝 摘要（中文）
本文提出了一种基于注视的辅助机器人系统中有效的人机交互方法。现有基于注视的辅助系统主要帮助用户完成基本的抓取动作，支持有限。此外，受限的意图识别能力限制了辅助系统提供多样化辅助功能的能力。本文提出了一个由大型语言模型（LLM）和视觉基础模型（VFM）驱动的开放式隐式意图识别框架，可以处理注视输入并识别不限于预定义或特定场景的用户意图。此外，我们实现了一个注视驱动的LLM增强型辅助机器人系统（MindEye-OmniAssist），该系统通过注视识别用户的意图并协助完成任务。为此，该系统利用开放词汇对象检测器、意图识别网络和LLM来推断用户的完整意图。通过整合眼动反馈和LLM，它生成动作序列以协助用户完成任务。在辅助任务中进行了真实世界的实验，该系统在各种未定义的任务中实现了41/55的总体成功率。初步结果表明，该方法有潜力提供更友好的计算机人机交互界面，并通过支持更复杂和多样化的任务来显著提高辅助系统的多功能性和有效性。
🔬 方法详解
问题定义：现有基于注视的辅助机器人系统主要解决简单的抓取任务，对于更复杂的任务支持不足。其主要痛点在于意图识别能力有限，无法理解用户在复杂场景下的真实意图，从而限制了辅助功能的范围。
核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语义理解和推理能力，结合视觉基础模型（VFM）的感知能力，构建一个能够理解用户隐式意图的辅助机器人系统。通过注视输入，系统能够识别用户关注的对象，并结合LLM推断用户的完整意图，进而生成相应的动作序列。
技术框架：MindEye-OmniAssist系统的整体架构包含以下几个主要模块：1) 眼动追踪模块：负责捕捉用户的注视点数据。2) 开放词汇对象检测器：识别用户注视区域内的物体。3) 意图识别网络：初步判断用户意图。4) 大型语言模型（LLM）：结合视觉信息和上下文，推断用户的完整意图，并生成动作序列。5) 机器人控制模块：执行LLM生成的动作序列，辅助用户完成任务。
关键创新：该论文的关键创新在于将大型语言模型（LLM）引入到基于注视的辅助机器人系统中，从而显著提升了系统的意图识别能力。与传统的基于规则或预定义场景的意图识别方法相比，该方法能够处理更复杂、更开放的场景，并理解用户的隐式意图。
关键设计：系统采用开放词汇对象检测器，能够识别场景中各种物体，无需预先训练特定物体类别。意图识别网络的设计细节未知，但其作用是初步筛选可能的意图。LLM的选择和prompt设计至关重要，需要根据具体的辅助任务进行调整，以保证LLM能够准确理解用户意图并生成合理的动作序列。损失函数和网络结构等技术细节在论文中未详细描述。
🖼️ 关键图片
📊 实验亮点
MindEye-OmniAssist系统在真实世界的辅助任务实验中取得了41/55的总体成功率。实验涵盖了各种未定义的任务，验证了系统在复杂场景下的意图识别和任务执行能力。该结果表明，基于注视驱动和LLM增强的辅助机器人系统具有显著的优势。
🎯 应用场景
该研究成果可应用于各种辅助机器人场景，例如帮助残疾人士进行日常生活活动、辅助老年人进行康复训练、以及在工业环境中协助工人完成复杂任务。该系统能够理解用户的隐式意图，并提供个性化的辅助服务，具有广阔的应用前景和重要的社会价值。
📄 摘要（原文）
A promising effective human-robot interaction in assistive robotic systems is gaze-based control. However, current gaze-based assistive systems mainly help users with basic grasping actions, offering limited support. Moreover, the restricted intent recognition capability constrains the assistive system's ability to provide diverse assistance functions. In this paper, we propose an open implicit intention recognition framework powered by Large Language Model (LLM) and Vision Foundation Model (VFM), which can process gaze input and recognize user intents that are not confined to predefined or specific scenarios. Furthermore, we implement a gaze-driven LLM-enhanced assistive robot system (MindEye-OmniAssist) that recognizes user's intentions through gaze and assists in completing task. To achieve this, the system utilizes open vocabulary object detector, intention recognition network and LLM to infer their full intentions. By integrating eye movement feedback and LLM, it generates action sequences to assist the user in completing tasks. Real-world experiments have been conducted for assistive tasks, and the system achieved an overall success rate of 41/55 across various undefined tasks. Preliminary results show that the proposed method holds the potential to provide a more user-friendly human-computer interaction interface and significantly enhance the versatility and effectiveness of assistive systems by supporting more complex and diverse task.