Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation

📄 arXiv: 2604.11611v1 📥 PDF

作者: Jiashu Yao, Heyan Huang, Zeming Liu, Yuhang Guo

分类: cs.CL, cs.LG

发布日期: 2026-04-13

备注: preprint

💡 一句话要点

提出MISE，利用后见之明自评估奖励校准，解决LLM强化学习中的稀疏奖励问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 稀疏奖励 自评估 互信息

📋 核心要点

  1. 大型语言模型强化学习面临稀疏奖励问题，阻碍了智能体有效学习。
  2. MISE利用后见之明自评估生成密集奖励，并根据环境反馈进行校准。
  3. 实验表明，MISE使开源LLM在无监督下达到与GPT-4o相当的性能。

📝 摘要（中文）

为了克服基于大型语言模型（LLM）的智能体在强化学习（RL）中面临的稀疏奖励挑战，我们提出了一种名为互信息自评估（MISE）的RL范式。MISE利用后见之明生成式自评估作为密集的奖励信号，同时根据环境反馈校准这些奖励。实验结果表明，MISE使智能体能够从密集的内部奖励中自主学习，从而补充稀疏的外部信号。理论上，我们的工作为生成式自奖励范式提供了第一个正式的基础。我们证明，利用后见之明自评估奖励等同于最小化一个目标，该目标结合了互信息和策略与代理奖励策略之间的KL散度项。这一理论见解为我们的校准步骤提供了信息和理由，该步骤主动将这些奖励与最优策略对齐。广泛的实验表明，MISE优于强大的基线，使约70亿参数的开源LLM能够在没有专家监督的情况下，在验证集上达到与GPT-4o相当的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在强化学习中遇到的稀疏奖励问题。传统的强化学习方法在奖励信号稀疏的环境中难以有效训练LLM智能体，导致学习效率低下甚至无法收敛。现有方法要么依赖人工设计的奖励函数，要么需要大量的专家数据进行监督，成本高昂且泛化能力有限。

核心思路：MISE的核心思路是利用LLM自身的生成能力进行自评估，生成密集的奖励信号，并结合环境反馈进行校准。通过后见之明（Hindsight）的方式，即使初始策略表现不佳，也能从失败的尝试中提取有用的信息，生成奖励信号。同时，为了避免LLM自评估的主观性，引入环境反馈进行校准，确保奖励信号与真实环境目标对齐。

技术框架：MISE的整体框架包含以下几个主要模块：1) LLM智能体：负责根据当前状态生成动作；2) 环境：接收智能体的动作并返回新的状态和稀疏的外部奖励；3) 自评估模块：利用LLM生成后见之明的奖励信号；4) 校准模块：根据环境反馈校准自评估奖励；5) 强化学习算法：利用校准后的奖励更新LLM智能体的策略。整个流程是一个迭代的过程，智能体不断与环境交互，生成奖励信号，校准奖励，并更新策略。

关键创新：MISE的关键创新在于将LLM的生成能力与强化学习相结合，提出了一种新的自奖励范式。与传统的强化学习方法相比，MISE无需人工设计奖励函数或依赖专家数据，能够自主地从环境中学习。此外，MISE还提供了一个生成式自奖励范式的理论基础，证明了利用后见之明自评估奖励等同于最小化一个结合了互信息和KL散度的目标函数。

关键设计：MISE的关键设计包括：1) 后见之明奖励生成：利用LLM生成给定状态和动作序列的奖励信号，奖励信号可以是文本形式的评价或数值形式的评分；2) 互信息最大化：鼓励自评估奖励与智能体的策略保持一致，避免奖励信号过于随机；3) KL散度最小化：确保自评估奖励与环境反馈保持一致，避免奖励信号偏离真实目标；4) 校准机制：利用环境反馈对自评估奖励进行加权或修正，确保奖励信号的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MISE在多个任务上都取得了显著的性能提升。例如，在某个特定任务上，使用MISE训练的70亿参数开源LLM，在验证集上达到了与GPT-4o相当的性能，而无需任何专家监督。这表明MISE能够有效地利用LLM的生成能力，自主地学习复杂的任务。

🎯 应用场景

MISE具有广泛的应用前景，可以应用于各种需要智能体与环境交互的任务中，例如机器人控制、游戏AI、对话系统等。尤其是在奖励信号稀疏或难以人工设计的场景下，MISE能够显著提高智能体的学习效率和性能。未来，MISE有望成为一种通用的强化学习范式，推动LLM在更多领域的应用。

📄 摘要（原文）

To overcome the sparse reward challenge in reinforcement learning (RL) for agents based on large language models (LLMs), we propose Mutual Information Self-Evaluation (MISE), an RL paradigm that utilizes hindsight generative self-evaluation as dense reward signals while simultaneously calibrating them against the environmental feedbacks. Empirically, MISE enables an agent to learn autonomously from dense internal rewards supplementing sparse extrinsic signals. Theoretically, our work provides the first formal foundation for the paradigm of generative self-rewarding. We prove that utilizing hindsight self-evaluation rewards is equivalent to minimizing an objective that combines mutual information with a KL divergence term between the policy and a proxy reward policy. This theoretical insight then informs and justifies our calibration step, which actively aligns these rewards with the optimal policy. Extensive experiments show that MISE outperforms strong baselines, enabling open-source LLMs about 7B parameters to achieve performance comparable to GPT-4o on validation without expert supervision.