CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models
作者: Kanghyun Ryu, Qiayuan Liao, Zhongyu Li, Payam Delgosha, Koushil Sreenath, Negar Mehr
分类: cs.RO, cs.LG, eess.SY
发布日期: 2024-09-27 (更新: 2025-04-14)
备注: Accepted to ICRA 2025
💡 一句话要点
CurricuLLM：利用大语言模型自动设计课程，学习复杂机器人技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 课程学习 强化学习 大语言模型 机器人控制 任务规划
📋 核心要点
- 强化学习中课程学习能有效训练复杂策略，但人工设计课程耗时且依赖领域知识，限制了其应用。
- CurricuLLM利用大语言模型分解任务和解耦技能，将自然语言转化为可执行代码，自动生成任务课程。
- 实验表明，CurricuLLM在多种机器人任务中有效，包括操作、导航和运动，并成功迁移到真实机器人。
📝 摘要（中文）
本文提出CurricuLLM，一种利用大语言模型（LLMs）进行课程设计的框架，旨在提升复杂机器人控制任务的学习效率。CurricuLLM利用LLMs的高级规划和编程能力，自动生成任务课程。该方法包含三个步骤：（1）生成辅助目标任务学习的子任务序列，以自然语言形式表达；（2）将子任务的自然语言描述翻译成可执行的任务代码，包括奖励代码和目标分布代码；（3）基于轨迹展开和子任务描述评估训练后的策略。CurricuLLM在多种机器人仿真环境中进行了评估，涵盖操作、导航和运动，结果表明其能够有效辅助学习复杂的机器人控制任务。此外，通过CurricuLLM学习的人形机器人运动策略在真实世界中得到了验证。
🔬 方法详解
问题定义：现有强化学习方法在学习复杂机器人技能时，需要人工设计课程，这需要大量的领域知识和人工干预。针对特定任务设计有效的课程非常困难，并且难以推广到不同的机器人领域。因此，如何自动生成有效的课程，降低对人工干预的依赖，是本文要解决的核心问题。
核心思路：本文的核心思路是利用大语言模型（LLMs）的强大能力，自动生成任务课程。LLMs经过大量数据的训练，具备丰富的世界知识和语言理解能力，能够有效地分解复杂任务，并将其转化为一系列易于学习的子任务。通过将任务分解和课程设计交给LLMs，可以显著降低人工干预的需求，并提高课程设计的效率和质量。
技术框架：CurricuLLM的整体框架包含三个主要步骤：（1）子任务生成：利用LLM生成一系列以自然语言形式描述的子任务，这些子任务旨在逐步引导智能体学习目标任务。（2）代码翻译：将LLM生成的自然语言子任务描述翻译成可执行的任务代码，包括奖励函数和目标分布。（3）策略评估：基于轨迹回滚和子任务描述，评估训练后的策略在各个子任务上的表现，并根据评估结果调整课程。
关键创新：CurricuLLM的关键创新在于利用LLM进行自动课程设计。与传统的基于人工或启发式规则的课程设计方法相比，CurricuLLM能够利用LLM的强大语言理解和生成能力，自动生成更有效、更具适应性的课程。此外，CurricuLLM还能够将自然语言描述的子任务转化为可执行的代码，从而实现端到端的自动课程学习。
关键设计：在子任务生成阶段，需要设计合适的prompt，引导LLM生成有意义的子任务序列。在代码翻译阶段，需要设计有效的机制，将自然语言描述转化为准确的任务代码，例如奖励函数和目标分布。在策略评估阶段，需要设计合适的指标，评估策略在各个子任务上的表现，并根据评估结果调整课程。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
CurricuLLM在多种机器人仿真环境中进行了评估，包括操作、导航和运动任务。实验结果表明，CurricuLLM能够有效辅助学习复杂的机器人控制任务，并且在人形机器人运动任务中，通过CurricuLLM学习的策略成功迁移到真实世界，验证了该方法的有效性和泛化能力。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。
🎯 应用场景
CurricuLLM具有广泛的应用前景，可应用于各种机器人任务，如工业自动化、家庭服务、医疗康复等。通过自动生成课程，CurricuLLM可以降低机器人技能学习的门槛，加速机器人在复杂环境中的部署。此外，该方法还可以应用于游戏AI、自动驾驶等领域，提升智能体的学习效率和泛化能力。
📄 摘要（原文）
Curriculum learning is a training mechanism in reinforcement learning (RL) that facilitates the achievement of complex policies by progressively increasing the task difficulty during training. However, designing effective curricula for a specific task often requires extensive domain knowledge and human intervention, which limits its applicability across various domains. Our core idea is that large language models (LLMs), with their extensive training on diverse language data and ability to encapsulate world knowledge, present significant potential for efficiently breaking down tasks and decomposing skills across various robotics environments. Additionally, the demonstrated success of LLMs in translating natural language into executable code for RL agents strengthens their role in generating task curricula. In this work, we propose CurricuLLM, which leverages the high-level planning and programming capabilities of LLMs for curriculum design, thereby enhancing the efficient learning of complex target tasks. CurricuLLM consists of: (Step 1) Generating sequence of subtasks that aid target task learning in natural language form, (Step 2) Translating natural language description of subtasks in executable task code, including the reward code and goal distribution code, and (Step 3) Evaluating trained policies based on trajectory rollout and subtask description. We evaluate CurricuLLM in various robotics simulation environments, ranging from manipulation, navigation, and locomotion, to show that CurricuLLM can aid learning complex robot control tasks. In addition, we validate humanoid locomotion policy learned through CurricuLLM in real-world. Project website is https://iconlab.negarmehr.com/CurricuLLM/