Generating and Evolving Reward Functions for Highway Driving with Large Language Models

📄 arXiv: 2406.10540v1 📥 PDF

作者: Xu Han, Qiannan Yang, Xianda Chen, Xiaowen Chu, Meixin Zhu

分类: cs.AI, cs.NE, cs.RO

发布日期: 2024-06-15

备注: 7 pages, 6 figures

💡 一句话要点

利用大语言模型生成和进化高速公路驾驶的奖励函数

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 强化学习 奖励函数 大语言模型 代码生成 迭代优化

📋 核心要点

  1. 奖励函数的手动设计是自动驾驶强化学习中的瓶颈，耗时且依赖专家知识。
  2. 提出一种新框架，利用大语言模型自动生成和进化奖励函数，降低人工成本。
  3. 实验表明，该方法在高速公路驾驶模拟中超越了专家设计的奖励函数，成功率提升22%。

📝 摘要（中文）

强化学习（RL）通过最大化奖励函数以实现最优策略，在推进自动驾驶技术方面发挥着关键作用。然而，在许多实践中，设计这些奖励函数一直是一个复杂的手动过程。为了降低这种复杂性，我们引入了一种新颖的框架，该框架将大型语言模型（LLM）与RL集成，以改进自动驾驶中的奖励函数设计。该框架利用LLM的编码能力（已在其他领域得到验证）来生成和进化高速公路场景的奖励函数。该框架首先指示LLM基于驾驶环境和任务描述创建初始奖励函数代码。然后，通过涉及RL训练和LLM反思的迭代循环来完善此代码，这得益于LLM审查和改进输出的能力。我们还开发了一种特定的提示模板，以提高LLM对复杂驾驶模拟的理解，确保生成有效且无错误的代码。我们在三种交通配置的高速公路驾驶模拟器中的实验表明，我们的方法优于专家手工设计的奖励函数，平均成功率提高了22%。这不仅表明驾驶更安全，而且表明开发效率显着提高。

🔬 方法详解

问题定义：自动驾驶中的强化学习需要精心设计的奖励函数来引导智能体学习最优策略。然而，手动设计奖励函数是一个复杂且耗时的过程，需要大量的领域知识和反复试验。现有的方法往往依赖于专家经验，难以适应不同的驾驶场景和任务需求。因此，如何自动生成和优化奖励函数，降低人工成本，提高自动驾驶系统的性能，是一个重要的研究问题。

核心思路：本文的核心思路是利用大语言模型（LLM）强大的代码生成和理解能力，自动生成和进化奖励函数。LLM可以根据驾驶环境和任务描述生成初始奖励函数代码，并通过强化学习训练和LLM反思的迭代循环来不断优化奖励函数。这种方法将人工设计奖励函数的过程转化为LLM自动生成和优化的过程，从而降低了人工成本，提高了开发效率。

技术框架：该框架主要包含以下几个阶段：1) 初始奖励函数生成：根据驾驶环境和任务描述，使用特定的提示模板指导LLM生成初始奖励函数代码。2) 强化学习训练：使用生成的奖励函数训练自动驾驶智能体，评估奖励函数的性能。3) LLM反思：LLM根据强化学习训练的结果，对奖励函数进行审查和改进。4) 迭代优化：重复强化学习训练和LLM反思的过程，不断优化奖励函数。

关键创新：该方法最重要的技术创新点在于将大语言模型引入到自动驾驶奖励函数的设计中，利用LLM的代码生成和理解能力，自动生成和进化奖励函数。与传统的手动设计方法相比，该方法可以显著降低人工成本，提高开发效率。此外，该方法还提出了一种特定的提示模板，以提高LLM对复杂驾驶模拟的理解，确保生成有效且无错误的代码。

关键设计：关键设计包括：1) 提示模板的设计：提示模板用于指导LLM生成初始奖励函数代码，需要包含驾驶环境和任务描述等信息。2) LLM反思机制：LLM需要根据强化学习训练的结果，对奖励函数进行审查和改进，例如，识别奖励函数中的错误或不足，并提出改进建议。3) 迭代优化策略：需要设计合适的迭代优化策略，以确保奖励函数能够不断优化，最终达到最优性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在高速公路驾驶模拟中超越了专家手工设计的奖励函数，平均成功率提高了22%。这表明该方法可以有效地自动生成和优化奖励函数，提高自动驾驶系统的性能和安全性。此外，该方法还可以显著降低人工成本，提高开发效率。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，例如高速公路驾驶、城市道路驾驶、泊车等。通过自动生成和优化奖励函数，可以降低自动驾驶系统的开发成本，提高系统的性能和安全性。此外，该方法还可以推广到其他强化学习应用领域，例如机器人控制、游戏AI等。

📄 摘要（原文）

Reinforcement Learning (RL) plays a crucial role in advancing autonomous driving technologies by maximizing reward functions to achieve the optimal policy. However, crafting these reward functions has been a complex, manual process in many practices. To reduce this complexity, we introduce a novel framework that integrates Large Language Models (LLMs) with RL to improve reward function design in autonomous driving. This framework utilizes the coding capabilities of LLMs, proven in other areas, to generate and evolve reward functions for highway scenarios. The framework starts with instructing LLMs to create an initial reward function code based on the driving environment and task descriptions. This code is then refined through iterative cycles involving RL training and LLMs' reflection, which benefits from their ability to review and improve the output. We have also developed a specific prompt template to improve LLMs' understanding of complex driving simulations, ensuring the generation of effective and error-free code. Our experiments in a highway driving simulator across three traffic configurations show that our method surpasses expert handcrafted reward functions, achieving a 22% higher average success rate. This not only indicates safer driving but also suggests significant gains in development productivity.