AutoMisty: A Multi-Agent LLM Framework for Automated Code Generation in the Misty Social Robot
作者: Xiao Wang, Lu Dong, Sahana Rangasrinivasan, Ifeoma Nwogu, Srirangaraj Setlur, Venugopal Govindaraju
分类: cs.RO, cs.AI, cs.HC, cs.MA
发布日期: 2025-03-09 (更新: 2025-08-24)
备注: Accepted by IROS 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
AutoMisty：用于Misty社交机器人自动化代码生成的多Agent LLM框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交机器人 代码生成 大型语言模型 多Agent系统 人机协作
📋 核心要点
- 社交机器人的开放API允许用户自定义交互，但编程经验不足的用户难以利用。
- AutoMisty通过多Agent协作，利用LLM将自然语言指令转化为可执行的机器人代码。
- 实验表明，AutoMisty能生成高质量代码并实现精确控制，优于直接使用大型语言模型。
📝 摘要（中文）
本文提出AutoMisty，这是一个基于大型语言模型（LLMs）的多Agent协作框架，旨在通过自然语言指令无缝生成可执行的Misty机器人代码，从而降低社交机器人定制的编程门槛。AutoMisty包含四个专门的Agent模块，分别负责任务分解、任务分配、问题解决和结果综合。每个Agent都采用双层优化机制，通过自我反思进行迭代改进，并通过人机协作更好地与用户偏好对齐。AutoMisty确保了推理过程的透明性，允许用户通过自然语言反馈迭代地改进任务，以实现精确执行。为了评估AutoMisty的有效性，我们设计了一个涵盖四个复杂程度级别的基准任务集，并在真实的Misty机器人环境中进行了实验。实验结果表明，AutoMisty不仅能够持续生成高质量的代码，而且能够实现精确的代码控制，显著优于直接使用ChatGPT-4o和ChatGPT-o1进行推理。
🔬 方法详解
问题定义：论文旨在解决非编程人员难以定制Misty社交机器人的问题。现有方法依赖于手动编写代码，对于不具备编程技能的用户来说，这是一个巨大的障碍。直接使用大型语言模型进行代码生成，往往无法保证代码质量和执行的精确性。
核心思路：论文的核心思路是将复杂的代码生成任务分解为多个子任务，并分配给不同的Agent进行协作。每个Agent专注于特定的任务，并通过自我反思和人机协作不断优化其输出，最终合成高质量的可执行代码。这种多Agent协作的方式能够更好地利用LLM的能力，并提高代码生成的准确性和可靠性。
技术框架：AutoMisty框架包含四个主要Agent模块：任务分解Agent、任务分配Agent、问题解决Agent和结果综合Agent。任务分解Agent负责将用户输入的自然语言指令分解为多个子任务。任务分配Agent负责将子任务分配给合适的问题解决Agent。问题解决Agent负责生成解决特定子任务的代码。结果综合Agent负责将各个Agent生成的代码片段组合成完整的可执行代码。每个Agent都包含一个双层优化机制，包括自我反思和人机协作。
关键创新：AutoMisty的关键创新在于其多Agent协作框架和双层优化机制。多Agent协作能够有效地分解复杂任务，并利用LLM的专业知识。双层优化机制能够不断改进代码质量，并与用户偏好对齐。此外，AutoMisty还提供了透明的推理过程，允许用户通过自然语言反馈进行迭代改进。
关键设计：AutoMisty的关键设计包括Agent之间的通信协议、自我反思机制和人机协作界面。Agent之间的通信协议定义了Agent之间如何交换信息和协调工作。自我反思机制允许Agent评估其自身的输出，并进行迭代改进。人机协作界面允许用户提供反馈，并指导Agent生成更符合用户需求的代码。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AutoMisty在生成高质量代码和实现精确代码控制方面显著优于直接使用ChatGPT-4o和ChatGPT-o1。具体性能数据和提升幅度在摘要中有所提及，但未提供详细的数值。
🎯 应用场景
AutoMisty可应用于各种社交机器人定制场景，例如教育、娱乐、医疗保健等。它降低了机器人编程的门槛，使更多用户能够轻松地定制机器人行为，从而扩展了社交机器人的应用范围。未来，AutoMisty可以与其他AI技术相结合，实现更智能、更个性化的机器人交互。
📄 摘要（原文）
The social robot's open API allows users to customize open-domain interactions. However, it remains inaccessible to those without programming experience. In this work, we introduce AutoMisty, the first multi-agent collaboration framework powered by large language models (LLMs), to enable the seamless generation of executable Misty robot code from natural language instructions. AutoMisty incorporates four specialized agent modules to manage task decomposition, assignment, problem-solving, and result synthesis. Each agent incorporates a two-layer optimization mechanism, with self-reflection for iterative refinement and human-in-the-loop for better alignment with user preferences. AutoMisty ensures a transparent reasoning process, allowing users to iteratively refine tasks through natural language feedback for precise execution. To evaluate AutoMisty's effectiveness, we designed a benchmark task set spanning four levels of complexity and conducted experiments in a real Misty robot environment. Extensive evaluations demonstrate that AutoMisty not only consistently generates high-quality code but also enables precise code control, significantly outperforming direct reasoning with ChatGPT-4o and ChatGPT-o1. All code, optimized APIs, and experimental videos will be publicly released through the webpage: https://wangxiaoshawn.github.io/AutoMisty.html