Reducing Mental Workload through On-Demand Human Assistance for Physical Action Failures in LLM-based Multi-Robot Coordination

📄 arXiv: 2603.28156v1 📥 PDF

作者: Shoichi Hasegawa, Akira Taniguchi, Lotfi El Hafi, Gustavo Alfonso Garcia Ricardez, Tadahiro Taniguchi

分类: cs.RO

发布日期: 2026-03-30

备注: Under review in IEEE RO-MAN 2026. Project page is https://emergentsystemlabstudent.github.io/REPAIR/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

REPAIR：基于LLM的多机器人协作中，通过按需人工辅助解决物理执行失败问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人协作 大型语言模型 人机协作 远程控制 故障恢复

📋 核心要点

  1. 现有基于LLM的多机器人协作方法难以从物理执行失败中恢复，导致任务停滞。
  2. REPAIR框架通过LLM按需请求人工辅助，实现远程错误解决，保证任务连续性。
  3. 真实环境下的垃圾收集实验表明，REPAIR显著提升了任务进度，接近完全远程控制的效果。

📝 摘要（中文）

基于大型语言模型（LLM）的多机器人协作因其能将自然语言指令直接转化为机器人行动计划而备受关注，它通过分解任务并生成高层计划来实现。然而，从物理执行失败中恢复仍然困难，并且任务经常由于重复相同的失败行动而停滞。虽然已经提出了使用混合现实进行远程机器人操作的框架，但很少有尝试专门为多机器人环境中物理失败实现远程错误解决。本研究提出了REPAIR（Robot Execution with Planned And Interactive Recovery），这是一种人机协作框架，将远程错误解决集成到基于LLM的多机器人规划中。在该方法中，机器人自主执行任务；但是，当发生不可恢复的失败时，LLM会请求操作员的帮助，从而通过远程干预实现任务的连续性。在真实环境中进行的垃圾收集任务评估证实，与完全自主的方法相比，REPAIR显著提高了任务进度（在限定时间内清理的物品数量）。此外，对于容易收集的物品，它实现了与完全远程控制相当的任务进度。结果还表明，操作员的精神负荷可能在身体需求和努力方面有所不同。

🔬 方法详解

问题定义：论文旨在解决基于LLM的多机器人协作系统中，由于物理执行失败导致的任务停滞问题。现有方法在处理此类问题时缺乏有效的恢复机制，导致机器人重复执行失败动作，无法完成任务。现有远程控制方案虽然可以解决问题，但需要人工持续干预，效率较低，且操作员负担重。

核心思路：REPAIR的核心思路是结合LLM的规划能力和人工的干预能力，实现一种按需人工辅助的机器人协作框架。当机器人遇到无法自主解决的物理执行失败时，LLM会智能地请求人工操作员的帮助，操作员通过远程控制解决问题后，机器人可以继续执行后续任务。这种方法旨在最小化人工干预，同时保证任务的顺利完成。

技术框架：REPAIR框架包含以下主要模块：1) 基于LLM的任务规划模块，负责将自然语言指令分解为机器人可执行的行动计划；2) 机器人执行模块，负责执行LLM生成的计划；3) 故障检测模块，负责检测机器人执行过程中发生的物理执行失败；4) 人工辅助请求模块，当故障无法自动恢复时，LLM会向人工操作员请求帮助；5) 远程控制模块，操作员通过远程控制界面干预机器人操作，解决故障；6) 任务恢复模块，在人工干预后，机器人继续执行剩余的任务计划。

关键创新：REPAIR的关键创新在于将LLM的任务规划能力与按需人工辅助相结合，实现了一种高效且灵活的机器人协作框架。与完全自主的方法相比，REPAIR能够更好地处理物理执行失败；与完全远程控制的方法相比，REPAIR能够显著减少人工干预的需求，降低操作员的负担。

关键设计：REPAIR的关键设计包括：1) LLM的选择和微调，以提高其任务规划的准确性和效率；2) 故障检测算法的设计，以准确识别物理执行失败；3) 人工辅助请求策略的设计，以在合适的时间请求人工帮助；4) 远程控制界面的设计，以方便操作员进行远程干预。论文中未明确提及具体的参数设置、损失函数或网络结构等技术细节，这部分信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多机器人垃圾收集任务中，REPAIR框架显著提高了任务进度，与完全自主的方法相比，清理的物品数量明显增加。对于容易收集的物品，REPAIR实现了与完全远程控制相当的任务进度。此外，实验结果还表明，操作员的精神负荷可能在身体需求和努力方面有所不同，这为进一步优化人机协作界面提供了指导。

🎯 应用场景

REPAIR框架具有广泛的应用前景，例如在物流仓储、家庭服务、灾难救援等领域，可以应用于多机器人协作完成复杂任务的场景。通过结合LLM的智能规划和人工的灵活干预，REPAIR能够提高机器人系统的鲁棒性和适应性，使其能够更好地应对现实世界中的各种挑战。未来，该框架可以进一步扩展到更复杂的任务和环境，实现更高级的人机协作。

📄 摘要（原文）

Multi-robot coordination based on large language models (LLMs) has attracted growing attention, since LLMs enable the direct translation of natural language instructions into robot action plans by decomposing tasks and generating high-level plans. However, recovering from physical execution failures remains difficult, and tasks often stagnate due to the repetition of the same unsuccessful actions. While frameworks for remote robot operation using Mixed Reality were proposed, there have been few attempts to implement remote error resolution specifically for physical failures in multi-robot environments. In this study, we propose REPAIR (Robot Execution with Planned And Interactive Recovery), a human-in-the-loop framework that integrates remote error resolution into LLM-based multi-robot planning. In this method, robots execute tasks autonomously; however, when an irrecoverable failure occurs, the LLM requests assistance from an operator, enabling task continuity through remote intervention. Evaluations using a multi-robot trash collection task in a real-world environment confirmed that REPAIR significantly improves task progress (the number of items cleared within a time limit) compared to fully autonomous methods. Furthermore, for easily collectable items, it achieved task progress equivalent to full remote control. The results also suggested that the mental workload on the operator may differ in terms of physical demand and effort. The project website is https://emergentsystemlabstudent.github.io/REPAIR/.