RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation

📄 arXiv: 2508.21378v1 📥 PDF

作者: Chenduo Ying, Linkang Du, Peng Cheng, Yuanchao Shu

分类: cs.RO, cs.AI

发布日期: 2025-08-29

💡 一句话要点

提出RoboInspector以解决LLM驱动机器人操作中策略代码不可靠问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器人操作 策略代码生成 不可靠性分析 反馈机制 实验评估 智能制造 服务机器人

📋 核心要点

  1. 现有的LLM驱动机器人操作方法在生成策略代码时存在不可靠性，尤其是面对复杂和多样的用户指令时。
  2. 本文提出RoboInspector，通过分析操作任务的复杂性和指令的粒度，揭示策略代码的不可靠性。
  3. 实验结果表明，RoboInspector能够识别四种主要的不可靠行为，并通过反馈机制将策略代码生成的可靠性提升了35%。

📝 摘要（中文）

大型语言模型（LLMs）在推理和代码生成方面展现出卓越能力，使得机器人操作可以通过单一指令启动。然而，尽管LLMs取得了进展，可靠的策略代码生成仍然面临重大挑战，尤其是在用户指令的复杂性和多样性方面。为了解决这一问题，本文设计了RoboInspector，一个从操作任务复杂性和指令粒度两个角度揭示和表征策略代码不可靠性的管道。通过对168种任务、指令和LLMs的组合进行全面实验，RoboInspector识别出导致操作失败的四种主要不可靠行为，并提供了详细的特征描述及其根本原因。此外，基于失败策略代码反馈的改进方法使得策略代码生成的可靠性提高了35%。

🔬 方法详解

问题定义：本文旨在解决LLM驱动机器人操作中策略代码生成的不可靠性问题。现有方法在处理复杂的用户指令和多样化的操作任务时，往往无法生成可靠的策略代码，导致操作失败。

核心思路：RoboInspector的核心思路是通过分析操作任务的复杂性和指令的粒度，系统性地揭示和表征策略代码的不可靠性。这种设计使得研究者能够更好地理解不可靠性的根源，从而进行针对性改进。

技术框架：RoboInspector的整体架构包括数据收集、任务复杂性评估、指令粒度分析和不可靠行为识别等主要模块。通过对168种任务和指令组合的实验，系统地评估不同LLMs的表现。

关键创新：RoboInspector识别出四种主要的不可靠行为，这一发现为理解和改进策略代码生成提供了新的视角。与现有方法相比，RoboInspector不仅揭示了问题，还提供了基于反馈的改进策略。

关键设计：在实验中，RoboInspector采用了多种参数设置和损失函数，以优化策略代码生成的可靠性。具体的网络结构和反馈机制设计也为提升生成效果提供了支持。

📊 实验亮点

实验结果显示，RoboInspector能够识别出导致操作失败的四种主要不可靠行为，并通过反馈机制将策略代码生成的可靠性提升了35%。这一提升在模拟和真实环境中均得到了验证，显示出其在实际应用中的有效性。

🎯 应用场景

RoboInspector的研究成果在多个领域具有潜在应用价值，包括智能制造、服务机器人和自动化物流等。通过提高机器人操作的可靠性，该技术能够在实际应用中减少故障率，提升用户体验，并推动机器人技术的广泛应用。

📄 摘要（原文）

Large language models (LLMs) demonstrate remarkable capabilities in reasoning and code generation, enabling robotic manipulation to be initiated with just a single instruction. The LLM carries out various tasks by generating policy code required to control the robot. Despite advances in LLMs, achieving reliable policy code generation remains a significant challenge due to the diverse requirements of real-world tasks and the inherent complexity of user instructions. In practice, different users may provide distinct instructions to drive the robot for the same task, which may cause the unreliability of policy code generation. To bridge this gap, we design RoboInspector, a pipeline to unveil and characterize the unreliability of the policy code for LLM-enabled robotic manipulation from two perspectives: the complexity of the manipulation task and the granularity of the instruction. We perform comprehensive experiments with 168 distinct combinations of tasks, instructions, and LLMs in two prominent frameworks. The RoboInspector identifies four main unreliable behaviors that lead to manipulation failure. We provide a detailed characterization of these behaviors and their underlying causes, giving insight for practical development to reduce unreliability. Furthermore, we introduce a refinement approach guided by failure policy code feedback that improves the reliability of policy code generation by up to 35% in LLM-enabled robotic manipulation, evaluated in both simulation and real-world environments.