Progress Reward Model for Reinforcement Learning via Large Language Models

📄 arXiv: 2610.22056v1 📥 PDF

作者: Xiuhui Zhang, Ning Gao, Xingyu Jiang, Yihui Chen, Yuheng Pan, Mohan Zhang, Yue Deng

分类: cs.AI

发布日期: 2026-10-15

备注: 20 pages, 10 figures. Published at NeurIPS 2025

期刊: Advances in Neural Information Processing Systems 38, 100745-100772 (2025)

DOI: 10.52202/085713-3370

🔗 代码/项目: GITHUB

💡 一句话要点

提出进展奖励模型以解决稀疏奖励的强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 稀疏奖励 任务规划 进展奖励模型 机器人控制 策略优化 大型语言模型

📋 核心要点

  1. 现有强化学习方法在处理长时间任务时，稀疏奖励导致学习效率低下，难以优化策略。
  2. 本文提出的进展奖励模型通过将复杂任务分解为简单子任务，结合进展函数生成密集奖励，优化策略。
  3. 实验结果显示，PRM4RL在机器人控制任务上超越了现有的LLM规划和奖励方法，表现出色。

📝 摘要（中文）

传统的强化学习算法在处理长时间任务和稀疏奖励时面临重大挑战。近期的研究利用大型语言模型（LLMs）增强强化学习，通过其世界知识进行任务规划和奖励生成。然而，基于规划的方法往往依赖于预定义的技能库，无法优化低级控制策略，而基于奖励的方法则需要大量的人类反馈或全面搜索。本文提出了进展奖励模型（PRM4RL），一个新框架，结合任务规划和密集奖励，以提升强化学习的效果。通过将复杂任务分解为一系列简单的可管理子任务，并设计了以子任务为导向的细粒度进展函数来监控任务执行进度。实验结果表明，该方法在机器人控制任务上优于现有的LLM规划和奖励方法，达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决传统强化学习在长时间任务中因稀疏奖励而导致的学习效率低下问题。现有方法依赖于预定义技能库或大量人类反馈，难以有效优化低级控制策略。

核心思路：论文提出的进展奖励模型（PRM4RL）通过将复杂任务分解为一系列简单的子任务，并设计细粒度的进展函数来监控任务执行进度，从而生成密集奖励，促进策略优化。

技术框架：PRM4RL框架包括两个主要模块：高层任务规划和低层奖励生成。高层模块负责将复杂任务分解为子任务，低层模块则利用进展函数生成相应的奖励。

关键创新：最重要的创新在于结合了任务规划与密集奖励生成，利用进展函数实现了理论上的最优性和收敛性保证，显著提升了策略优化的有效性。

关键设计：在设计中，进展函数的构建灵感来源于潜在奖励塑形，确保了奖励的有效性。此外，损失函数和网络结构的选择也经过精心设计，以支持高效的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PRM4RL在机器人控制任务上表现优异，超越了现有的LLM规划和奖励方法，达到了最先进的性能，具体提升幅度未知，显示出该方法在复杂任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和智能代理系统等。通过有效的奖励生成和任务规划，PRM4RL能够在复杂环境中实现更高效的学习和决策，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Traditional reinforcement learning (RL) algorithms face significant limitations in handling long-term tasks with sparse rewards. Recent advancements have leveraged large language models (LLMs) to enhance RL by utilizing their world knowledge for task planning and reward generation. However, planning-based approaches often depend on pre-defined skill libraries and fail to optimize low-level control policies, while reward-based methods require extensive human feedback or exhaustive searching due to the complexity of tasks. In this paper, we propose the Progress Reward Model for RL (PRM4RL), a novel framework that integrates task planning and dense reward to enhance RL. For high-level planning, a complex task is decomposed into a series of simple manageable subtasks, with a subtask-oriented, fine-grained progress function designed to monitor task execution progress. For low-level reward generation, inspired by potential-based reward shaping, we use the progress function to construct a Progress Reward Model (PRM), providing theoretically grounded optimality and convergence guarantees, thereby enabling effective policy optimization. Experimental results on robotics control tasks demonstrate that our approach outperforms both LLM-based planning and reward methods, achieving state-of-the-art performance. Code is available at https://github.com/deng-ai-lab/PRM4RL.