Efficient Reinforcement Learning by Guiding Generalist World Models with Non-Curated Data
作者: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen
分类: cs.LG, cs.RO
发布日期: 2025-02-26 (更新: 2025-05-18)
💡 一句话要点
利用非结构化数据引导通用世界模型，提升强化学习效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 世界模型 离线学习 经验回放 执行引导 分布偏移 非结构化数据
📋 核心要点
- 现有强化学习方法样本效率低，难以利用大量存在的非结构化离线数据。
- 提出经验回放和执行引导两种技术，解决离线数据与在线数据分布偏移问题，有效利用非结构化离线数据。
- 实验表明，该方法在多个视觉运动任务中显著提升了强化学习的样本效率，优于现有方法。
📝 摘要（中文）
本文旨在通过利用大量非结构化的、无奖励、质量参差不齐且跨多个载体收集的离线数据，来提高在线强化学习(RL)的样本效率。虽然学习世界模型看起来很有希望利用这些数据，但我们发现，简单的微调无法加速许多任务上的RL训练。经过仔细研究，我们将这种失败归因于微调期间离线和在线数据之间的分布偏移。为了解决这个问题并有效地利用离线数据，我们提出了两个关键技术：i) 经验回放和 ii) 执行引导。通过这些改进，非结构化的离线数据显著提高了RL的样本效率。在有限的样本预算下，我们的方法在跨越6个载体的72个视觉运动任务中，相对于从头开始学习的基线，总体得分相对提高了102.8%。在诸如运动和机器人操作等具有挑战性的任务中，它优于先前使用离线数据的方法。
🔬 方法详解
问题定义：现有强化学习算法在样本效率方面存在不足，尤其是在复杂任务中。虽然离线数据可以用来预训练模型，但直接使用非结构化的、质量不一的离线数据进行微调往往效果不佳，甚至会降低性能。主要原因是离线数据与在线数据之间存在分布偏移，导致模型泛化能力下降。
核心思路：本文的核心思路是通过经验回放和执行引导两种技术，缓解离线数据与在线数据之间的分布偏移，从而有效地利用非结构化的离线数据来引导世界模型的学习，进而提升强化学习的样本效率。经验回放用于维持离线数据的分布，执行引导则用于约束在线探索的方向。
技术框架：整体框架包含离线数据收集、世界模型预训练、经验回放和执行引导四个主要阶段。首先，收集大量非结构化的离线数据。然后，利用这些数据预训练一个世界模型。在在线强化学习过程中，使用经验回放来维持离线数据的分布，并使用执行引导来约束探索的方向，从而加速学习过程。
关键创新：本文的关键创新在于提出了经验回放和执行引导两种技术，有效地解决了非结构化离线数据与在线数据之间的分布偏移问题。经验回放通过定期重放离线数据，防止模型过度拟合在线数据。执行引导则通过利用离线数据中的策略信息，引导在线探索的方向，避免无效探索。
关键设计：经验回放的具体实现是维护一个离线数据的缓冲区，在每次更新模型时，从缓冲区中随机抽取一部分数据与在线数据混合进行训练。执行引导的具体实现是利用离线数据训练一个策略网络，在在线探索时，将该策略网络的输出作为探索方向的指导信号，例如，可以通过KL散度约束在线策略与离线策略的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在72个视觉运动任务中，该方法相对于从头开始学习的基线，总体得分相对提高了102.8%。在具有挑战性的运动和机器人操作任务中，该方法也优于先前使用离线数据的方法。这些结果表明，该方法能够有效地利用非结构化离线数据，显著提升强化学习的样本效率。
🎯 应用场景
该研究成果可广泛应用于机器人控制、自动驾驶、游戏AI等领域。通过利用大量廉价的非结构化数据，可以显著降低强化学习的训练成本，加速智能体的学习过程，使其能够更好地适应复杂环境，完成各种任务。未来，该方法有望推动机器人和人工智能技术的普及应用。
📄 摘要（原文）
Leveraging offline data is a promising way to improve the sample efficiency of online reinforcement learning (RL). This paper expands the pool of usable data for offline-to-online RL by leveraging abundant non-curated data that is reward-free, of mixed quality, and collected across multiple embodiments. Although learning a world model appears promising for utilizing such data, we find that naive fine-tuning fails to accelerate RL training on many tasks. Through careful investigation, we attribute this failure to the distributional shift between offline and online data during fine-tuning. To address this issue and effectively use the offline data, we propose two essential techniques: \emph{i)} experience rehearsal and \emph{ii)} execution guidance. With these modifications, the non-curated offline data substantially improves RL's sample efficiency. Under limited sample budgets, our method achieves a 102.8\% relative improvement in aggregate score over learning-from-scratch baselines across 72 visuomotor tasks spanning 6 embodiments. On challenging tasks such as locomotion and robotic manipulation, it outperforms prior methods that utilize offline data by a decent margin.