Adapting Image-based RL Policies via Predicted Rewards

📄 arXiv: 2407.16842v1 📥 PDF

作者: Weiyao Wang, Xinyuan Fang, Gregory D. Hager

分类: cs.RO

发布日期: 2024-07-23

备注: L4DC 2024

💡 一句话要点

提出基于预测奖励微调(PRFT)的图像RL策略自适应方法，提升跨域泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 领域自适应 奖励预测 策略微调 图像RL

📋 核心要点

  1. 图像RL在领域迁移时泛化能力差，现有方法如数据增强和领域随机化难以有效解决轨迹累积误差。
  2. 利用领域迁移后预测奖励的指导意义，通过奖励预测微调策略，提升目标域性能。
  3. PRFT方法在模拟和真实世界的任务中，均能显著提升策略性能，验证了其有效性。

📝 摘要（中文）

基于图像的强化学习(RL)在训练和部署之间视觉环境发生显著变化时，面临着泛化的重大挑战。在这种情况下，学习到的策略可能表现不佳，导致结果下降。以往解决这个问题的方法主要集中在扩大训练观察分布，采用数据增强和领域随机化等技术。然而，考虑到RL决策问题的顺序性，学习到的策略模型通常会传播残差误差，并在整个轨迹中累积，从而导致性能严重下降。在本文中，我们利用了这样一个观察结果：领域迁移下的预测奖励，即使不完美，仍然可以作为指导微调的有用信号。我们利用这一特性，使用目标域中的奖励预测来微调策略。我们发现，即使在显著的领域迁移下，预测奖励仍然可以提供有意义的信号，微调可以显著改善原始策略。我们的方法，称为预测奖励微调(PRFT)，提高了模拟基准和真实世界实验中各种任务的性能。更多信息请访问项目网页：https://sites.google.com/view/prft。

🔬 方法详解

问题定义：基于图像的强化学习策略在训练环境和实际部署环境存在视觉差异时，性能会显著下降。现有方法主要通过增加训练数据的多样性来提升泛化能力，例如数据增强和领域随机化。然而，由于强化学习的序列决策特性，策略模型产生的误差会在整个轨迹中累积，导致性能急剧下降，现有方法难以有效解决这个问题。

核心思路：即使在领域迁移后，预测的奖励信号可能并不完美，但仍然包含有用的信息，可以指导策略的微调。利用目标域的预测奖励作为监督信号，对预训练的策略进行微调，从而使其适应新的视觉环境。

技术框架：PRFT方法主要包含两个阶段：1) 在源域上训练一个初始的RL策略；2) 在目标域上，使用预测的奖励信号对该策略进行微调。具体流程是，首先使用源域训练好的策略在目标域中进行探索，然后使用一个预训练的奖励预测器预测每个状态-动作对的奖励，最后使用这些预测的奖励作为真实奖励，通过标准的强化学习算法（如PPO）对策略进行微调。

关键创新：该方法的核心创新在于利用了领域迁移后的预测奖励信号进行策略微调。与传统的领域自适应方法不同，PRFT不依赖于对齐源域和目标域的特征空间，而是直接利用预测奖励作为指导信号，更加简单有效。此外，该方法充分考虑了强化学习的序列决策特性，通过微调来纠正策略在轨迹中的累积误差。

关键设计：奖励预测器可以使用任何回归模型，例如神经网络。论文中使用了在目标域数据上预训练的神经网络作为奖励预测器。微调阶段可以使用任何off-policy或on-policy的强化学习算法。论文中使用了PPO算法进行微调。损失函数为标准的PPO损失函数，但将真实奖励替换为预测奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个模拟环境和真实机器人实验中，PRFT方法均取得了显著的性能提升。例如，在视觉导航任务中，PRFT方法相比于直接应用源域策略，成功率提升了20%以上。此外，PRFT方法在真实机器人抓取任务中也表现出良好的适应性，验证了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、游戏AI等领域，尤其是在训练环境与实际环境存在差异的情况下。例如，在模拟环境中训练的机器人策略，可以通过PRFT方法快速适应真实世界的复杂环境，降低部署成本，提高鲁棒性。

📄 摘要（原文）

Image-based reinforcement learning (RL) faces significant challenges in generalization when the visual environment undergoes substantial changes between training and deployment. Under such circumstances, learned policies may not perform well leading to degraded results. Previous approaches to this problem have largely focused on broadening the training observation distribution, employing techniques like data augmentation and domain randomization. However, given the sequential nature of the RL decision-making problem, it is often the case that residual errors are propagated by the learned policy model and accumulate throughout the trajectory, resulting in highly degraded performance. In this paper, we leverage the observation that predicted rewards under domain shift, even though imperfect, can still be a useful signal to guide fine-tuning. We exploit this property to fine-tune a policy using reward prediction in the target domain. We have found that, even under significant domain shift, the predicted reward can still provide meaningful signal and fine-tuning substantially improves the original policy. Our approach, termed Predicted Reward Fine-tuning (PRFT), improves performance across diverse tasks in both simulated benchmarks and real-world experiments. More information is available at project web page: https://sites.google.com/view/prft.