Toward Human-in-the-Loop Robot Failure Recovery: Bridging Communication Gaps in Human-Robot Collaboration

📄 arXiv: 2609.24055v1 📥 PDF

作者: Promise Ekpo, Teju Vijay, Dhruv Mandalik, Tisha Jain, Arman Ibrayeva, Sunishka Sil, Stefanie A. Tellex, Angelique Taylor

分类: cs.RO, cs.HC

发布日期: 2026-09-21

💡 一句话要点

提出LD-HRI以解决人机协作中的沟通差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 机器人故障恢复 听众差异 请求生成 大型语言模型

📋 核心要点

  1. 现有方法未能有效考虑人类听众之间的知识差异，导致机器人请求帮助时的沟通效率低下。
  2. 本文提出LD-HRI，通过构建游戏和数据集，评估不同听众在机器人请求中的表现，旨在缩小沟通差距。
  3. 实验结果显示，模型生成的请求在新手中的成功率普遍较高，但仍存在显著的专家与新手之间的知识差距。

📝 摘要（中文）

机器人可以通过请求旁观者的帮助来恢复故障，但有效的人机协作恢复需要考虑人们知识的差异。以往的逆语义研究使用单一听众模型生成请求，未测试听众知识的差异。本文引入了人机交互中的听众差异（LD-HRI），包括一个游戏、数据集和基准，评估说话者通过人类听众的表现。我们的评估在受控的听众信息差异下，考察请求属性、大型语言模型（LLM）说话者和逆语义请求选择算法。数据集包含446个人工编写的请求和1302个听众试验，此外还评估了24个LLM编写的请求与70名人类听众的560个试验。结果显示，模型编写的请求在所有四个任务中新手成功率显著更高，但仍存在显著的专家与新手之间的差距。

🔬 方法详解

问题定义：本文旨在解决机器人在请求人类帮助时，由于听众知识差异导致的沟通效率低下问题。现有方法未能充分考虑这些差异，影响了人机协作的效果。

核心思路：论文提出LD-HRI，通过构建一个包含多样化请求和听众反馈的数据集，评估不同听众的表现，从而优化机器人请求的生成策略。这样的设计能够更好地适应不同听众的知识背景。

技术框架：整体架构包括数据集构建、请求生成、听众评估和性能分析四个主要模块。数据集包含人工和模型生成的请求，听众评估则通过实验收集反馈。

关键创新：最重要的创新点在于引入了听众差异的概念，并通过实验量化了这些差异对请求成功率的影响。这一方法与以往单一听众模型的研究有本质区别。

关键设计：在实验中，使用了446个人工请求和24个LLM生成的请求，设置了70名听众参与560个试验，采用了多种评估指标来分析请求的有效性和听众的表现差异。实验设计确保了对不同听众知识水平的全面考量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型生成的请求在新手中的成功率普遍高于人工请求，尤其在四个任务中显示出显著的提升，专家与新手之间的知识差距达到16个百分点。这些数据为未来的研究提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作系统等。通过改进机器人与人类之间的沟通方式，可以显著提升机器人在复杂环境中的自主性和效率，未来可能推动智能助手和自主系统的广泛应用。

📄 摘要（原文）

Robots can recover from failures by asking bystanders for help, but effective human-in-the-loop recovery requires communication that accounts for differences in people's knowledge. Prior inverse-semantics work generates requests using a single listener model, leaving differences in listener knowledge untested. We introduce Listener Differences in Human-Robot Interaction (LD-HRI), a game, dataset, and benchmark that evaluates speakers through human listener performance. Our evaluation examines request properties, large language model (LLM) speakers, and inverse-semantics request-selection algorithms under controlled differences in listener information. The corpus contains 446 human-written requests and 1{,}302 listener trials. We additionally evaluated 24 frozen LLM-written requests with 70 human listeners across 560 trials. Novice success is descriptively higher with model-written requests across all four tasks, yet both request sources leave substantial expert--novice gaps, including 16 percentage points for LLM requests. LD-HRI makes these gaps measurable, providing a foundation for designing more robust communication in human-robot and human-agent interaction.