Eureka: Human-Level Reward Design via Coding Large Language Models

📄 arXiv: 2310.12931v2 📥 PDF

作者: Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar

分类: cs.RO, cs.AI, cs.LG

发布日期: 2023-10-19 (更新: 2024-04-30)

备注: ICLR 2024. Project website and open-source code: https://eureka-research.github.io/

💡 一句话要点

提出Eureka算法以解决复杂低级操作任务的奖励设计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励设计 大型语言模型 强化学习 自动化操作 机器人控制 进化优化 人类反馈

📋 核心要点

  1. 现有方法在复杂低级操作任务的奖励设计上存在不足，难以有效利用大型语言模型的潜力。
  2. Eureka算法通过进化优化奖励代码，利用LLMs的生成能力，自动生成高效的奖励函数。
  3. 在29个开源强化学习环境中，Eureka在83%的任务中超越人类专家，平均提升52%的性能。

📝 摘要（中文）

大型语言模型（LLMs）在顺序决策任务中表现出色，但在学习复杂的低级操作任务（如灵巧的笔旋转）方面仍然存在挑战。为此，本文提出了Eureka，一种基于LLMs的人类级奖励设计算法。Eureka利用先进LLMs（如GPT-4）的零-shot生成、代码编写和上下文改进能力，对奖励代码进行进化优化。生成的奖励函数在没有特定任务提示或预定义奖励模板的情况下，超越了专家设计的奖励。在29个开源强化学习环境中，Eureka在83%的任务中超越人类专家，平均提升52%。此外，Eureka还支持无梯度的上下文学习方法，能够有效整合人类反馈，提升生成奖励的质量与安全性。

🔬 方法详解

问题定义：本文旨在解决如何有效设计复杂低级操作任务的奖励函数的问题。现有方法往往依赖于人工设计的奖励，难以适应多样化的任务需求。

核心思路：Eureka算法通过利用大型语言模型的生成能力，自动生成适应性强的奖励函数，避免了人工设计的局限性。

技术框架：Eureka的整体架构包括三个主要模块：1) 奖励代码生成模块，利用LLMs生成初始奖励函数；2) 进化优化模块，通过进化算法优化奖励代码；3) 强化学习模块，使用生成的奖励函数训练智能体。

关键创新：Eureka的主要创新在于其无任务特定提示的能力，能够在多种环境中自动生成高效的奖励函数，显著超越传统的人工设计方法。

关键设计：在设计中，Eureka采用了无梯度的上下文学习方法，能够实时整合人类反馈，优化奖励函数的质量和安全性，同时保持模型的稳定性。具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Eureka在29个开源强化学习环境中表现出色，超越人类专家的任务达83%，并实现了平均52%的性能提升。这一成果展示了Eureka在复杂操作任务中的有效性和潜力。

🎯 应用场景

Eureka算法的潜在应用领域包括机器人控制、自动化操作和智能系统的训练等。通过自动生成高效的奖励函数，Eureka能够加速复杂任务的学习过程，提升智能体的操作能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have excelled as high-level semantic planners for sequential decision-making tasks. However, harnessing them to learn complex low-level manipulation tasks, such as dexterous pen spinning, remains an open problem. We bridge this fundamental gap and present Eureka, a human-level reward design algorithm powered by LLMs. Eureka exploits the remarkable zero-shot generation, code-writing, and in-context improvement capabilities of state-of-the-art LLMs, such as GPT-4, to perform evolutionary optimization over reward code. The resulting rewards can then be used to acquire complex skills via reinforcement learning. Without any task-specific prompting or pre-defined reward templates, Eureka generates reward functions that outperform expert human-engineered rewards. In a diverse suite of 29 open-source RL environments that include 10 distinct robot morphologies, Eureka outperforms human experts on 83% of the tasks, leading to an average normalized improvement of 52%. The generality of Eureka also enables a new gradient-free in-context learning approach to reinforcement learning from human feedback (RLHF), readily incorporating human inputs to improve the quality and the safety of the generated rewards without model updating. Finally, using Eureka rewards in a curriculum learning setting, we demonstrate for the first time, a simulated Shadow Hand capable of performing pen spinning tricks, adeptly manipulating a pen in circles at rapid speed.