Online Pre-Training for Offline-to-Online Reinforcement Learning

📄 arXiv: 2507.08387v1 📥 PDF

作者: Yongjae Shin, Jeonghye Kim, Whiyoung Jung, Sunghoon Hong, Deunsol Yoon, Youngsoo Jang, Geonhyeong Kim, Jongseong Chae, Youngchul Sung, Kanghoon Lee, Woohyung Lim

分类: cs.LG

发布日期: 2025-07-11

备注: ICML 2025 camera-ready

💡 一句话要点

提出在线预训练方法OPT，解决离线预训练模型在线微调时值估计不准确问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 在线强化学习 预训练 值函数估计 分布偏移

📋 核心要点

  1. 离线预训练的强化学习模型在在线微调时，由于分布偏移导致值估计不准确，性能往往不如随机初始化。
  2. OPT方法通过引入在线预训练阶段，专门训练一个适用于在线微调的新值函数，以解决值估计不准确的问题。
  3. 实验结果表明，OPT方法在多个D4RL环境中，相比现有方法，性能平均提升了30%。

📝 摘要（中文）

离线到在线强化学习旨在结合离线和在线强化学习的优势，通过离线预训练智能体，然后通过在线交互进行微调。然而，最近的研究表明，由于分布偏移导致的不准确的值估计，离线预训练的智能体在在线微调期间表现不佳，有时随机初始化反而更有效。为了解决这个问题，本文提出了一种新的方法，即离线到在线强化学习的在线预训练（OPT），它显式地解决了离线预训练智能体中不准确的值估计问题。OPT引入了一个新的学习阶段，即在线预训练，允许训练专门为有效的在线微调量身定制的新的值函数。在TD3和SPOT上实施OPT，在包括MuJoCo、Antmaze和Adroit在内的各种D4RL环境中，性能平均提高了30%。

🔬 方法详解

问题定义：离线到在线强化学习旨在利用离线数据进行预训练，然后通过在线交互进行微调，以获得更好的性能。然而，现有方法在从离线到在线的过渡过程中，由于数据分布的差异，导致值函数估计不准确，从而影响在线微调的效果。现有离线预训练模型在在线微调时，性能甚至不如随机初始化的模型，这表明值函数的偏差是阻碍性能提升的关键因素。

核心思路：OPT的核心思路是在离线预训练和在线微调之间增加一个“在线预训练”阶段。这个阶段的目标是利用在线交互数据，专门训练一个新的值函数，使其更适应在线环境的数据分布。通过这种方式，可以减轻离线预训练带来的值函数偏差，为后续的在线微调提供一个更好的起点。

技术框架：OPT方法包含三个阶段：离线预训练、在线预训练和在线微调。首先，使用离线数据集训练一个初始策略和值函数。然后，在在线预训练阶段，固定策略，仅更新值函数，使其适应在线环境。最后，进行在线微调，同时更新策略和值函数。整体流程旨在逐步适应在线环境，减少值函数偏差。

关键创新：OPT的关键创新在于引入了在线预训练阶段，将值函数的学习与策略的学习解耦。传统方法通常在离线预训练阶段同时学习策略和值函数，导致值函数过度拟合离线数据。OPT通过在线预训练阶段，专门针对在线环境优化值函数，从而提高了在线微调的效率和性能。

关键设计：在在线预训练阶段，OPT使用与在线微调相同的奖励函数和环境交互方式。值函数的更新采用时序差分学习（TD learning）或其变体，例如TD3或SPOT中使用的算法。策略在在线预训练阶段保持固定，以确保值函数的学习不受策略变化的影响。在线微调阶段则采用标准的强化学习算法，同时更新策略和值函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPT方法在多个D4RL benchmark环境中，包括MuJoCo、Antmaze和Adroit等，相比于直接进行在线微调，性能平均提升了30%。在某些任务中，OPT甚至能够使智能体达到接近最优的性能。这些结果验证了OPT方法在解决离线到在线强化学习问题上的有效性。

🎯 应用场景

OPT方法可应用于各种需要从离线数据中学习，然后通过在线交互进行优化的强化学习任务。例如，机器人控制、自动驾驶、推荐系统等领域，可以先利用已有的离线数据进行预训练，然后通过在线预训练和微调，使智能体更好地适应实际环境，提高性能和鲁棒性。该方法具有广泛的应用前景和实际价值。

📄 摘要（原文）

Offline-to-online reinforcement learning (RL) aims to integrate the complementary strengths of offline and online RL by pre-training an agent offline and subsequently fine-tuning it through online interactions. However, recent studies reveal that offline pre-trained agents often underperform during online fine-tuning due to inaccurate value estimation caused by distribution shift, with random initialization proving more effective in certain cases. In this work, we propose a novel method, Online Pre-Training for Offline-to-Online RL (OPT), explicitly designed to address the issue of inaccurate value estimation in offline pre-trained agents. OPT introduces a new learning phase, Online Pre-Training, which allows the training of a new value function tailored specifically for effective online fine-tuning. Implementation of OPT on TD3 and SPOT demonstrates an average 30% improvement in performance across a wide range of D4RL environments, including MuJoCo, Antmaze, and Adroit.