Intent-Driven LLM Ensemble Planning for Flexible Multi-Robot Disassembly: Demonstration on EV Batteries
作者: Cansu Erdogan, Cesar Alan Contreras, Alireza Rastegarpanah, Manolis Chiou, Rustam Stolkin
分类: cs.RO, cs.AI, cs.HC, cs.MA
发布日期: 2025-10-20
备注: This work is funded by the project called "Research and Development of a Highly Automated and Safe Streamlined Process for Increasing Lithium-ion Battery Repurposing and Recycling" (REBELION) under Grant 101104241, and partially supported by the Ministry of National Education, Republic of Turkey. Submitted to Frontiers for Review
💡 一句话要点
提出意图驱动的LLM集成规划方法，用于柔性多机器人拆卸电动汽车电池。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多机器人协同 任务规划 大型语言模型 意图驱动 电动汽车电池拆卸
📋 核心要点
- 现有方法难以处理非结构化场景中多机器人协同操作的复杂任务规划，尤其是在需要根据人类意图灵活调整任务顺序时。
- 该论文提出一种意图驱动的规划流程，利用LLM集成生成候选方案，并通过验证器和过滤器确保方案的正确性和可行性。
- 在电动汽车电池拆卸任务的实验中，该方法能够可靠地将操作员意图转化为多机器人计划，并降低了用户的工作量。
📝 摘要（中文）
本文提出了一种规划复杂操作任务的方法，其中多个具有不同末端执行器和能力的机器人，在计算机视觉的引导下，必须规划和执行连接的动作序列，处理以任意位置和配置出现在非结构化场景中的各种对象。我们提出了一种意图驱动的规划流程，该流程可以通过简单的语言指令，在人类的不同程度的监督输入下，稳健地构建此类动作序列。该流程集成了：（i）感知到文本的场景编码，（ii）一个大型语言模型（LLM）集成，用于生成基于操作员意图的候选移除序列，（iii）一个基于LLM的验证器，用于强制执行格式和优先级约束，以及（iv）一个确定性的连贯性过滤器，用于拒绝幻觉对象。该流程在一个示例任务中进行了评估，其中两个机器人手臂协同工作以拆卸电动汽车电池以进行回收应用。必须按照特定顺序抓取和移除各种组件，该顺序由人工指令和/或自主系统做出的任务顺序可行性决策决定。在包含五个组件类别的200个真实场景和600个操作员提示中，我们使用完整序列正确性和下一个任务正确性指标来评估和比较五个基于LLM的规划器（包括流程组件的消融分析）。我们还通过人体参与者实验，从执行时间和NASA TLX方面评估了基于LLM的人机界面。结果表明，我们的集成验证方法能够可靠地将操作员意图映射到安全、可执行的多机器人计划，同时保持较低的用户工作量。
🔬 方法详解
问题定义：论文旨在解决非结构化环境中，多机器人协同拆卸任务的规划问题。现有方法难以处理场景的复杂性、任务顺序的灵活性以及人类意图的融入。尤其是在电动汽车电池拆卸等任务中，需要根据电池状态和操作员指令动态调整拆卸顺序，现有方法难以胜任。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大推理能力，将感知到的场景信息转化为文本描述，然后利用LLM生成候选的拆卸方案。通过集成多个LLM，并引入验证器和过滤器，提高方案的可靠性和可行性。这种方法允许根据人类的意图灵活调整任务顺序，并能处理非结构化场景中的不确定性。
技术框架：整体框架包含四个主要模块：(1) 感知到文本的场景编码，将视觉信息转化为LLM可理解的文本描述；(2) LLM集成，利用多个LLM生成候选的拆卸序列；(3) LLM验证器，检查候选序列的格式和优先级约束；(4) 一致性过滤器，去除幻觉对象，确保方案的合理性。整个流程以人类操作员的意图为驱动，通过简单的语言指令指导任务规划。
关键创新：该论文的关键创新在于将LLM集成应用于多机器人任务规划，并引入了LLM验证器和一致性过滤器。与传统的基于规则或优化的规划方法相比，该方法能够更好地处理非结构化场景和人类意图，并具有更强的泛化能力。LLM集成的使用提高了方案的多样性和鲁棒性。
关键设计：LLM集成的具体实现方式未知，但推测可能采用了不同的LLM模型或不同的prompting策略。LLM验证器的设计需要仔细考虑格式和优先级约束的表达方式。一致性过滤器的具体实现方式也未知，但可能涉及到对场景中对象的语义理解和关系推理。
🖼️ 关键图片
📊 实验亮点
该论文在200个真实场景和600个操作员提示下进行了评估，结果表明，所提出的集成验证方法能够可靠地将操作员意图映射到安全、可执行的多机器人计划。通过与消融分析的比较，验证了各个模块的有效性。此外，人体参与者实验表明，该方法能够降低用户的工作量，并缩短执行时间。具体的性能数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于自动化拆卸、回收和维修等领域，尤其是在处理复杂、非结构化的环境时。例如，可用于电子产品回收、汽车零部件拆卸、以及其他需要多机器人协同操作的场景。该方法有望提高自动化系统的灵活性和适应性，降低人工干预的需求。
📄 摘要（原文）
This paper addresses the problem of planning complex manipulation tasks, in which multiple robots with different end-effectors and capabilities, informed by computer vision, must plan and execute concatenated sequences of actions on a variety of objects that can appear in arbitrary positions and configurations in unstructured scenes. We propose an intent-driven planning pipeline which can robustly construct such action sequences with varying degrees of supervisory input from a human using simple language instructions. The pipeline integrates: (i) perception-to-text scene encoding, (ii) an ensemble of large language models (LLMs) that generate candidate removal sequences based on the operator's intent, (iii) an LLM-based verifier that enforces formatting and precedence constraints, and (iv) a deterministic consistency filter that rejects hallucinated objects. The pipeline is evaluated on an example task in which two robot arms work collaboratively to dismantle an Electric Vehicle battery for recycling applications. A variety of components must be grasped and removed in specific sequences, determined by human instructions and/or by task-order feasibility decisions made by the autonomous system. On 200 real scenes with 600 operator prompts across five component classes, we used metrics of full-sequence correctness and next-task correctness to evaluate and compare five LLM-based planners (including ablation analyses of pipeline components). We also evaluated the LLM-based human interface in terms of time to execution and NASA TLX with human participant experiments. Results indicate that our ensemble-with-verification approach reliably maps operator intent to safe, executable multi-robot plans while maintaining low user effort.