From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning

📄 arXiv: 2507.12815v2 📥 PDF

作者: Gaurav Chaudhary, Laxmidhar Behera

分类: cs.LG

发布日期: 2025-07-17 (更新: 2025-12-22)

💡 一句话要点

提出ReLOAD，通过自蒸馏奖励解决离线强化学习中奖励标注难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 奖励函数 随机网络蒸馏 自蒸馏 模仿学习

📋 核心要点

  1. 离线强化学习依赖显式奖励标注，但人工标注成本高昂且难以追溯。
  2. ReLOAD利用随机网络蒸馏（RND）生成内在奖励，无需手工标注，区分专家行为。
  3. 实验表明，ReLOAD在D4RL基准测试中表现出色，性能与传统方法相当。

📝 摘要（中文）

离线强化学习旨在从静态数据集中学习有效的策略，而无需进一步的智能体-环境交互。然而，其应用常受限于对显式奖励标注的需求，这些标注的工程成本可能很高，或者难以追溯获得。为了解决这个问题，我们提出了ReLOAD（Reinforcement Learning with Offline Reward Annotation via Distillation），一种用于离线强化学习的奖励标注框架。与依赖复杂对齐过程的现有方法不同，我们的方法采用随机网络蒸馏（RND），利用简单而有效的嵌入差异度量，从专家演示中生成内在奖励。首先，我们训练一个预测网络来模仿基于专家状态转移的固定目标网络的嵌入。然后，这两个网络之间的预测误差作为静态数据集中每个转移的奖励信号。这种机制提供了一种结构化的奖励信号，而无需手工设计的奖励标注。我们提供了一个正式的理论结构，深入了解RND预测误差如何通过区分类似专家的转移来有效地充当内在奖励。在D4RL基准上的实验表明，ReLOAD能够实现稳健的离线策略学习，并达到与传统奖励标注方法相当的性能。

🔬 方法详解

问题定义：离线强化学习旨在利用静态数据集学习策略，但缺乏有效的奖励函数是关键瓶颈。现有方法或者依赖于人工标注奖励，成本高昂且主观；或者需要复杂的对齐程序，实现困难。因此，如何在离线强化学习中自动生成高质量的奖励信号是一个亟待解决的问题。

核心思路：ReLOAD的核心思路是利用随机网络蒸馏（RND）的思想，通过衡量状态转移的“新颖性”来生成内在奖励。具体来说，ReLOAD训练一个预测网络来模仿目标网络的嵌入，预测误差越大，说明该状态转移越“新颖”，越值得探索，从而作为奖励信号。这种方法避免了人工标注，并且能够有效地利用专家数据。

技术框架：ReLOAD框架主要包含以下几个阶段：1) 数据收集：从专家演示数据集中获取状态转移样本。2) RND训练：训练一个预测网络，使其能够预测目标网络基于状态转移产生的嵌入。目标网络是预先训练好的，参数固定。3) 奖励生成：利用预测网络和目标网络之间的预测误差作为奖励信号。误差越大，奖励越高。4) 策略学习：使用离线强化学习算法（例如，Behavior Cloning, CQL）基于生成的奖励信号学习策略。

关键创新：ReLOAD的关键创新在于将随机网络蒸馏（RND）应用于离线强化学习的奖励生成。与传统的RND方法不同，ReLOAD不是用于探索未知环境，而是用于区分专家行为和非专家行为。通过模仿专家数据的嵌入，ReLOAD能够有效地识别出与专家行为相似的状态转移，并给予更高的奖励。这种方法避免了复杂的对齐程序，并且能够有效地利用专家数据。

关键设计：ReLOAD的关键设计包括：1) 嵌入网络结构：预测网络和目标网络通常采用相同的神经网络结构，例如多层感知机（MLP）。2) 损失函数：预测网络的损失函数通常采用均方误差（MSE），衡量预测嵌入和目标嵌入之间的差异。3) 奖励缩放：为了保证奖励信号的稳定性和有效性，通常需要对奖励进行缩放，例如使用均值和方差进行归一化。

🖼️ 关键图片

fig_0

📊 实验亮点

ReLOAD在D4RL基准测试中取得了显著成果，在多个任务上与使用真实奖励的离线强化学习算法性能相当，甚至在某些任务上超越了它们。这表明ReLOAD能够有效地从专家数据中提取有用的奖励信号，并用于训练高性能的策略。例如，在hopper-medium-v2环境中，ReLOAD的性能接近使用真实奖励的CQL算法。

🎯 应用场景

ReLOAD可应用于机器人控制、游戏AI、自动驾驶等领域，尤其适用于难以获取人工标注奖励的场景。例如，在医疗诊断领域，可以利用专家医生的诊疗数据，自动生成奖励信号，训练AI模型辅助诊断。该方法降低了对人工标注的依赖，加速了离线强化学习的应用。

📄 摘要（原文）

Offline Reinforcement Learning (RL) aims to learn effective policies from a static dataset without requiring further agent-environment interactions. However, its practical adoption is often hindered by the need for explicit reward annotations, which can be costly to engineer or difficult to obtain retrospectively. To address this, we propose ReLOAD (Reinforcement Learning with Offline Reward Annotation via Distillation), a novel reward annotation framework for offline RL. Unlike existing methods that depend on complex alignment procedures, our approach adapts Random Network Distillation (RND) to generate intrinsic rewards from expert demonstrations using a simple yet effective embedding discrepancy measure. First, we train a predictor network to mimic a fixed target network's embeddings based on expert state transitions. Later, the prediction error between these networks serves as a reward signal for each transition in the static dataset. This mechanism provides a structured reward signal without requiring handcrafted reward annotations. We provide a formal theoretical construct that offers insights into how RND prediction errors effectively serve as intrinsic rewards by distinguishing expert-like transitions. Experiments on the D4RL benchmark demonstrate that ReLOAD enables robust offline policy learning and achieves performance competitive with traditional reward-annotated methods.