Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft

📄 arXiv: 2312.09238v2 📥 PDF

作者: Hao Li, Xue Yang, Zhaokai Wang, Xizhou Zhu, Jie Zhou, Yu Qiao, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

分类: cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2023-12-14 (更新: 2024-03-30)

备注: Accepted by CVPR2024

💡 一句话要点

Auto MC-Reward：利用大语言模型自动设计Minecraft密集奖励函数，提升强化学习效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 奖励函数设计 大语言模型 Minecraft 自动奖励设计

📋 核心要点

  1. Minecraft等环境奖励稀疏，导致强化学习智能体探索效率低，难以学习复杂任务。
  2. Auto MC-Reward利用大语言模型自动设计密集奖励函数，提升智能体在稀疏奖励环境中的学习效率。
  3. 实验表明，该方法显著提高了智能体在Minecraft复杂任务中的成功率和学习效率。

📝 摘要（中文）

许多强化学习环境（例如Minecraft）仅提供稀疏奖励，这些奖励以二元值指示任务完成或失败。这种环境中探索效率的挑战使得基于强化学习的智能体难以学习复杂任务。为了解决这个问题，本文介绍了一种先进的学习系统，名为Auto MC-Reward，它利用大型语言模型（LLM）来自动设计密集奖励函数，从而提高学习效率。Auto MC-Reward由三个重要组成部分组成：奖励设计器、奖励评论器和轨迹分析器。给定环境信息和任务描述，奖励设计器首先通过使用预定义的观察输入编码可执行的Python函数来设计奖励函数。然后，我们的奖励评论器将负责验证代码，检查代码是否自洽且没有语法和语义错误。此外，轨迹分析器总结了可能的失败原因，并根据收集到的轨迹提供改进建议。在下一轮中，奖励设计器将根据反馈进一步改进和迭代密集奖励函数。实验表明，我们的智能体在Minecraft中的复杂任务（例如，以避免熔岩的有效能力获得钻石，并有效地探索平原生物群落中稀疏的树木和动物）的成功率和学习效率得到了显着提高。

🔬 方法详解

问题定义：论文旨在解决在Minecraft等稀疏奖励环境中，强化学习智能体难以高效探索和学习复杂任务的问题。现有方法依赖人工设计的奖励函数，耗时且效果受限，难以适应复杂多变的任务需求。

核心思路：核心思路是利用大语言模型（LLM）的强大代码生成和理解能力，自动生成密集奖励函数。通过迭代优化奖励函数，引导智能体更有效地探索环境并学习完成任务。

技术框架：Auto MC-Reward包含三个主要模块：1) 奖励设计器 (Reward Designer)：根据环境信息和任务描述，利用LLM生成Python代码形式的奖励函数。2) 奖励评论器 (Reward Critic)：验证奖励函数代码的正确性，包括语法、语义和逻辑一致性。3) 轨迹分析器 (Trajectory Analyzer)：分析智能体的行为轨迹，识别失败原因，并为奖励函数的设计提供改进建议。这三个模块循环迭代，不断优化奖励函数。

关键创新：关键创新在于利用LLM自动生成和优化密集奖励函数，摆脱了对人工设计的依赖。通过奖励评论器和轨迹分析器，实现对奖励函数的自动验证和改进，提高了奖励函数设计的效率和质量。

关键设计：奖励设计器使用预定义的观察输入，例如智能体的位置、周围环境信息等。奖励评论器采用静态代码分析和形式化验证等技术，确保代码的正确性。轨迹分析器则通过分析智能体的行为模式，识别潜在的奖励陷阱或无效奖励，并据此调整奖励函数。

📊 实验亮点

实验结果表明，Auto MC-Reward显著提高了智能体在Minecraft复杂任务中的成功率和学习效率。例如，在获取钻石的任务中，智能体能够有效地避开熔岩，并高效地探索稀疏的资源，性能优于传统方法。

🎯 应用场景

该研究成果可应用于其他稀疏奖励的强化学习环境，例如机器人控制、游戏AI等。通过自动设计奖励函数，可以降低强化学习的应用门槛，加速智能体在复杂环境中的学习和适应过程，具有广泛的应用前景和实际价值。

📄 摘要（原文）

Many reinforcement learning environments (e.g., Minecraft) provide only sparse rewards that indicate task completion or failure with binary values. The challenge in exploration efficiency in such environments makes it difficult for reinforcement-learning-based agents to learn complex tasks. To address this, this paper introduces an advanced learning system, named Auto MC-Reward, that leverages Large Language Models (LLMs) to automatically design dense reward functions, thereby enhancing the learning efficiency. Auto MC-Reward consists of three important components: Reward Designer, Reward Critic, and Trajectory Analyzer. Given the environment information and task descriptions, the Reward Designer first design the reward function by coding an executable Python function with predefined observation inputs. Then, our Reward Critic will be responsible for verifying the code, checking whether the code is self-consistent and free of syntax and semantic errors. Further, the Trajectory Analyzer summarizes possible failure causes and provides refinement suggestions according to collected trajectories. In the next round, Reward Designer will further refine and iterate the dense reward function based on feedback. Experiments demonstrate a significant improvement in the success rate and learning efficiency of our agents in complex tasks in Minecraft, such as obtaining diamond with the efficient ability to avoid lava, and efficiently explore trees and animals that are sparse in the plains biome.