LLM-Handover:Exploiting LLMs for Task-Oriented Robot-Human Handovers

📄 arXiv: 2509.24706v1 📥 PDF

作者: Andreea Tulbure, Rene Zurbruegg, Timm Grigat, Marco Hutter

分类: cs.RO

发布日期: 2025-09-29

备注: Accepted to IEEE Robotics and Automation Letters (RA-L)

💡 一句话要点

LLM-Handover：利用大语言模型实现面向任务的人机物体交接

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 物体交接 大语言模型 部件分割 机器人抓取

📋 核心要点

  1. 现有的人机物体交接方法通常忽略人类在交接后的动作，依赖于限制泛化性的假设。
  2. LLM-Handover框架利用大语言模型进行推理，结合部件分割，实现上下文感知的抓取选择，优化交接后的可用性。
  3. 实验表明，该方法提高了抓取成功率，更好地适应交接后的任务约束，并在硬件实验和用户研究中表现出色。

📝 摘要（中文）

为了实现有效的人机协作，特别是面向任务的物体交接，本研究提出了LLM-Handover框架。该框架结合了大语言模型（LLM）的推理能力和部件分割技术，从而实现上下文感知的抓取选择和执行。给定RGB-D图像和任务描述，系统能够推断相关的物体部件，并选择优化交接后可用性的抓取方式。为了支持评估，我们构建了一个包含60个家庭物品的数据集，涵盖12个类别，并对每个物品进行了详细的部件标注。实验表明，该方法提升了现有部件分割算法在人机交接场景下的性能。此外，LLM-Handover实现了更高的抓取成功率，并能更好地适应交接后的任务约束。在硬件实验中，针对传统和非传统的交接后任务，该方法在零样本设置下达到了83%的成功率。用户研究表明，该方法实现了更直观、上下文感知的交接，86%的参与者更喜欢这种方式。

🔬 方法详解

问题定义：现有的人机物体交接方法通常依赖于预定义的规则或简单的启发式算法，缺乏对交接后人类意图的理解，导致交接方式不够自然和高效。这些方法难以适应不同的任务需求和环境变化，泛化能力有限。因此，需要一种能够理解上下文信息并根据任务目标优化交接方式的框架。

核心思路：LLM-Handover的核心思路是利用大语言模型（LLM）的强大推理能力，结合视觉信息（RGB-D图像和部件分割结果），理解交接任务的上下文，并选择最合适的抓取方式。通过LLM，系统可以推断出人类在交接后可能执行的动作，并据此优化抓取姿态，从而提高交接的效率和用户体验。

技术框架：LLM-Handover框架主要包含以下几个模块：1) 输入模块：接收RGB-D图像和任务描述作为输入。2) 部件分割模块：利用深度学习模型对物体进行部件分割，识别出物体的各个组成部分。3) LLM推理模块：利用LLM对任务描述进行分析，结合部件分割结果，推断出与任务相关的物体部件以及人类可能的后续动作。4) 抓取选择模块：根据LLM的推理结果，选择能够优化交接后可用性的抓取姿态。5) 执行模块：控制机器人执行抓取动作，完成物体交接。

关键创新：该方法最重要的创新点在于将大语言模型引入到人机物体交接任务中，利用LLM的推理能力理解任务上下文，并据此优化抓取选择。与传统的基于规则或启发式算法的方法相比，LLM-Handover能够更好地适应不同的任务需求和环境变化，实现更自然和高效的人机协作。

关键设计：在部件分割模块，论文使用了先进的分割模型，并针对人机交接场景进行了优化。在LLM推理模块，论文设计了特定的prompt，引导LLM进行任务理解和推理。在抓取选择模块，论文定义了优化目标，例如最大化交接后可用性，并设计了相应的算法进行抓取姿态的搜索和选择。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-Handover框架在人机物体交接任务中取得了显著的性能提升。在零样本设置下，该方法在硬件实验中达到了83%的抓取成功率。用户研究表明，86%的参与者更喜欢LLM-Handover提供的交接方式，认为其更加直观和符合他们的使用习惯。此外，该方法还提高了部件分割的准确率（具体提升幅度未知）。

🎯 应用场景

LLM-Handover框架具有广泛的应用前景，例如在智能家居环境中，机器人可以根据用户的指令，以最方便的方式将物品递给用户。在工业生产中，机器人可以根据工人的操作习惯，以最符合人体工程学的方式进行物料传递。此外，该技术还可以应用于医疗康复领域，帮助行动不便的人群获取所需的物品。未来，该研究有望推动人机协作技术的发展，提高生产效率和生活质量。

📄 摘要（原文）

Effective human-robot collaboration depends on task-oriented handovers, where robots present objects in ways that support the partners intended use. However, many existing approaches neglect the humans post-handover action, relying on assumptions that limit generalizability. To address this gap, we propose LLM-Handover, a novel framework that integrates large language model (LLM)-based reasoning with part segmentation to enable context-aware grasp selection and execution. Given an RGB-D image and a task description, our system infers relevant object parts and selects grasps that optimize post-handover usability. To support evaluation, we introduce a new dataset of 60 household objects spanning 12 categories, each annotated with detailed part labels. We first demonstrate that our approach improves the performance of the used state-of-the-art part segmentation method, in the context of robot-human handovers. Next, we show that LLM-Handover achieves higher grasp success rates and adapts better to post-handover task constraints. During hardware experiments, we achieve a success rate of 83% in a zero-shot setting over conventional and unconventional post-handover tasks. Finally, our user study underlines that our method enables more intuitive, context-aware handovers, with participants preferring it in 86% of cases.