Beyond Human Preferences: Exploring Reinforcement Learning Trajectory Evaluation and Improvement through LLMs

📄 arXiv: 2406.19644v2 📥 PDF

作者: Zichao Shen, Tianchen Zhu, Qingyun Sun, Shiqi Gao, Jianxin Li

分类: cs.AI

发布日期: 2024-06-28 (更新: 2024-07-01)

备注: accepted by IJCAI 2024 GAAMAL

💡 一句话要点

提出LLM4PG框架，利用大语言模型提升强化学习在复杂约束游戏任务中的轨迹评估与策略优化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 偏好学习 奖励函数设计 轨迹评估 复杂约束环境 游戏AI

📋 核心要点

  1. 传统强化学习在复杂游戏环境中，由于难以设计精确的奖励函数，导致策略评估面临挑战。
  2. LLM4PG框架利用大语言模型抽象轨迹、排序偏好并重建奖励函数，从而优化条件策略。
  3. 实验表明，LLM4PG能有效加速强化学习收敛，克服因奖励函数设计不当导致的训练停滞。

📝 摘要（中文）

强化学习(RL)在复杂游戏任务中面临策略轨迹评估的挑战，原因是难以设计全面而精确的奖励函数。这种固有的困难限制了RL在具有多样约束的游戏环境中的广泛应用。基于偏好的强化学习(PbRL)提出了一个开创性的框架，它利用人类偏好作为关键的奖励信号，从而避免了细致的奖励工程。然而，从人类专家那里获得偏好数据是昂贵且低效的，尤其是在复杂约束条件下。为了应对这一挑战，我们提出了一个名为LLM4PG的基于LLM的自动偏好生成框架，该框架利用大型语言模型(LLM)的能力来抽象轨迹、对偏好进行排序和重建奖励函数，以优化条件策略。在具有复杂语言约束的任务上的实验表明，我们基于LLM的奖励函数的有效性，加速了RL的收敛，并克服了原始奖励结构下缓慢或没有进展导致的停滞。这种方法减轻了对专业人类知识的依赖，并展示了LLM在提高RL在复杂环境中的有效性的潜力。

🔬 方法详解

问题定义：论文旨在解决强化学习在复杂约束游戏任务中，由于难以设计全面精确的奖励函数而导致的策略轨迹评估难题。现有方法依赖人工设计的奖励函数，或者需要大量的人工标注偏好数据，成本高昂且效率低下。尤其是在具有复杂语言约束的环境中，人工设计奖励函数更加困难。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大能力，自动生成高质量的偏好数据，并基于这些数据重建奖励函数。通过LLMs对轨迹进行抽象、排序，从而模拟人类专家的偏好，避免了人工标注的成本和低效。这样可以更有效地训练强化学习模型，使其在复杂约束环境下也能取得良好的性能。

技术框架：LLM4PG框架主要包含以下几个模块：1) 轨迹抽象模块：使用LLM将复杂的轨迹信息抽象成简洁的语言描述。2) 偏好排序模块：利用LLM对不同轨迹的描述进行排序，生成偏好数据。3) 奖励函数重建模块：基于LLM生成的偏好数据，学习或调整奖励函数，使其能够反映LLM的偏好。4) 强化学习训练模块：使用重建的奖励函数训练强化学习模型，优化策略。

关键创新：最重要的技术创新点在于利用LLM自动生成偏好数据，并将其用于奖励函数的重建。与传统的基于人工标注的偏好学习方法相比，LLM4PG能够显著降低人工成本，提高效率。此外，LLM的强大语言理解和生成能力，使其能够更好地处理复杂约束环境下的轨迹评估问题。

关键设计：在轨迹抽象模块中，需要设计合适的prompt，引导LLM生成高质量的轨迹描述。在偏好排序模块中，可以使用不同的排序算法，例如pairwise ranking或listwise ranking。在奖励函数重建模块中，可以使用不同的学习算法，例如回归或分类。具体的参数设置、损失函数和网络结构需要根据具体的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM4PG框架在具有复杂语言约束的任务中，能够显著加速强化学习的收敛速度，并克服因原始奖励函数设计不当导致的训练停滞。具体性能提升数据未知，但论文强调了LLM赋能的奖励函数在复杂环境下的有效性。

🎯 应用场景

该研究成果可应用于各种需要复杂约束和难以人工设计奖励函数的强化学习任务，例如机器人导航、游戏AI、自动驾驶等。通过利用LLM自动生成偏好数据，可以降低开发成本，提高模型性能，加速强化学习在实际场景中的应用。

📄 摘要（原文）

Reinforcement learning (RL) faces challenges in evaluating policy trajectories within intricate game tasks due to the difficulty in designing comprehensive and precise reward functions. This inherent difficulty curtails the broader application of RL within game environments characterized by diverse constraints. Preference-based reinforcement learning (PbRL) presents a pioneering framework that capitalizes on human preferences as pivotal reward signals, thereby circumventing the need for meticulous reward engineering. However, obtaining preference data from human experts is costly and inefficient, especially under conditions marked by complex constraints. To tackle this challenge, we propose a LLM-enabled automatic preference generation framework named LLM4PG , which harnesses the capabilities of large language models (LLMs) to abstract trajectories, rank preferences, and reconstruct reward functions to optimize conditioned policies. Experiments on tasks with complex language constraints demonstrated the effectiveness of our LLM-enabled reward functions, accelerating RL convergence and overcoming stagnation caused by slow or absent progress under original reward structures. This approach mitigates the reliance on specialized human knowledge and demonstrates the potential of LLMs to enhance RL's effectiveness in complex environments in the wild.