When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

📄 arXiv: 2605.30719v1 📥 PDF

作者: Stephane Hatgis-Kessell, Emma Brunskill

分类: cs.LG, cs.AI

发布日期: 2026-05-29

💡 一句话要点

PromptPO：利用LLM作为黑盒优化器解决序列RL任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 策略优化 提示工程 机器人控制

📋 核心要点

  1. 传统强化学习算法在复杂任务中需要大量环境交互，效率较低，且难以利用先验知识。
  2. PromptPO利用LLM生成和优化策略，通过提示LLM环境信息，使其能够利用先验知识并生成可执行的策略。
  3. 实验表明，PromptPO在多种任务中表现优于传统RL算法，尤其是在需要探索和利用先验知识的环境中。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在强化学习（RL）任务中作为有效黑盒策略优化器的适用性，即何时可以用LLM替代传统的RL算法。为此，作者提出了Prompted Policy Optimization (PromptPO)，这是一种迭代方法，它首先用Python描述状态空间、动作空间和奖励函数来提示LLM，然后让LLM基于rollout反馈生成和改进可执行策略。在困难的探索环境、Meta-World机器人任务和几个真实世界的控制问题中，PromptPO通常能达到或超过标准RL基线的性能，同时使用更少的环境交互。为了最大化预期回报，并且没有进一步的显式提示，PromptPO输出的策略范围从调整后的比例控制器或基于规则的计划到运行诸如值迭代之类的规划算法的策略。结果表明，当LLM可以利用关于环境或优化策略的先验知识时，基于LLM的策略优化就足够了。PromptPO在MuJoCo领域表现不如标准RL基线，这表明基于LLM的策略优化可能在需要细粒度连续控制的设置中存在局限性。

🔬 方法详解

问题定义：论文旨在研究在何种情况下，大型语言模型（LLM）可以作为强化学习（RL）任务中有效的策略优化器，从而替代传统的RL算法。现有RL算法在复杂环境中需要大量的样本交互，并且难以有效利用先验知识，导致学习效率低下。

核心思路：核心思路是利用LLM的强大语言理解和生成能力，将其作为黑盒策略优化器。通过向LLM提供环境的描述信息，使其能够生成可执行的策略，并通过与环境的交互反馈不断优化策略。这种方法旨在利用LLM的先验知识和推理能力，减少对大量环境交互的依赖。

技术框架：PromptPO (Prompted Policy Optimization) 的整体框架是一个迭代过程，主要包含以下几个阶段： 1. 环境描述：将状态空间、动作空间和奖励函数用Python代码描述，作为LLM的输入。 2. 策略生成：LLM基于环境描述生成可执行的策略代码。 3. 策略执行：将生成的策略在环境中执行，获得rollout反馈（例如，奖励）。 4. 策略优化：利用rollout反馈，通过提示LLM修改和改进策略代码，迭代优化策略。

关键创新：关键创新在于将LLM作为黑盒策略优化器，通过提示工程（prompt engineering）使其能够理解环境并生成可执行的策略。与传统RL算法不同，PromptPO侧重于利用LLM的先验知识和推理能力，而不是完全依赖于环境交互学习。

关键设计：PromptPO的关键设计包括： 1. 提示设计：如何有效地将环境信息编码成LLM可以理解的提示，例如使用Python代码描述环境。 2. 迭代优化：如何利用rollout反馈来指导LLM改进策略，例如通过提示LLM分析失败案例并进行改进。 3. 策略表示：LLM生成的策略可以是多种形式，例如比例控制器、规则引擎或规划算法（如值迭代）的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PromptPO在困难的探索环境、Meta-World机器人任务和几个真实世界的控制问题中，通常能达到或超过标准RL基线的性能，同时使用更少的环境交互。例如，PromptPO能够生成从调整后的比例控制器到值迭代等多种策略，而无需额外的显式提示。但在MuJoCo领域，PromptPO表现不如标准RL基线，揭示了其在细粒度连续控制方面的局限性。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动化决策等领域。通过利用LLM的先验知识和推理能力，可以降低强化学习的样本复杂度，加速策略学习过程。未来，可以将PromptPO扩展到更复杂的环境和任务中，例如多智能体协作、人机交互等。

📄 摘要（原文）

We study when large language models (LLMs) can serve as effective black-box policy optimizers for reinforcement learning (RL) tasks, i.e., when can we replace classical RL algorithms with an LLM? We explore this question by introducing Prompted Policy Optimization (PromptPO), an iterative method that prompts an LLM with Python descriptions of the state space, action space, and reward function, then has it generate and refine executable policies based on rollout feedback. Across hard exploration environments, Meta-World robotics tasks, and several real-world control problems, PromptPO often matches or exceeds the performance of standard RL baselines while using substantially fewer environment interactions. To maximize expected return, and without further explicit prompting, the policies PromptPO outputs range from tuned proportional controllers or rule-based plans to policies that run planning algorithms like value iteration. Our results demonstrate that LLM-based policy optimization is sufficient when the LLM can leverage prior knowledge about the environment or optimization strategy. PromptPO underperforms standard RL baselines in MuJoCo domains. This demonstrates possible limitations of LLM-based policy optimization to settings that requiring fine-grained continuous control.