Salience-Invariant Consistent Policy Learning for Generalization in Visual Reinforcement Learning

📄 arXiv: 2502.08336v2 📥 PDF

作者: Jingbo Sun, Songjun Tu, Qichao Zhang, Ke Chen, Dongbin Zhao

分类: cs.AI

发布日期: 2025-02-12 (更新: 2025-02-24)

💡 一句话要点

提出SCPL算法，通过显著性不变一致性策略学习提升视觉强化学习泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 泛化能力 显著性不变性 策略一致性 价值一致性 机器人操作 自动驾驶

📋 核心要点

  1. 视觉强化学习中，智能体易过拟合训练环境，导致在未见环境中泛化能力差，受无关像素干扰。
  2. SCPL算法通过价值一致性模块关注任务相关像素，动态模块捕获动态信息，策略一致性模块保持策略稳定。
  3. 实验表明，SCPL在DMC-GB、机器人操作和CARLA等基准测试中，泛化性能显著优于现有方法。

📝 摘要（中文）

在视觉强化学习中，策略泛化到未见场景仍然是一个关键挑战，智能体通常过度拟合训练环境中的特定视觉观察。在未见环境中，分散注意力的像素可能导致智能体提取包含与任务无关信息的状态表示。因此，智能体可能会偏离训练期间学习到的最佳行为，从而阻碍视觉泛化。为了解决这个问题，我们提出了一种显著性不变一致性策略学习（SCPL）算法，这是一个用于零样本泛化的有效框架。我们的方法引入了一个新颖的价值一致性模块和一个动态模块，以有效地捕获与任务相关的状态表示。价值一致性模块在显著性的指导下，确保智能体专注于原始和扰动观察中与任务相关的像素，而动态模块使用增强数据来帮助编码器捕获动态和奖励相关的状态表示。此外，我们的理论分析强调了策略一致性对于泛化的重要性。为了加强这一点，我们引入了一个具有KL散度约束的策略一致性模块，以保持原始和扰动观察之间的一致策略。在DMC-GB、机器人操作和CARLA基准上的大量实验表明，SCPL在泛化方面显著优于最先进的方法。值得注意的是，SCPL在具有挑战性的DMC视频困难设置、机器人困难设置和CARLA基准中分别实现了14％、39％和69％的平均性能提升。

🔬 方法详解

问题定义：视觉强化学习智能体在训练环境中表现良好，但在新的、未见过的环境中泛化能力较差。主要原因是智能体过度拟合了训练环境的特定视觉特征，并且容易受到与任务无关的干扰像素的影响，导致提取的状态表示包含噪声，最终影响策略的有效性。

核心思路：SCPL的核心思路是让智能体学习对显著性区域不变的策略，即无论输入图像如何变化（例如，添加噪声、遮挡等），智能体都应该关注与任务相关的显著区域，并做出一致的决策。通过这种方式，可以提高智能体对环境变化的鲁棒性，从而提升泛化能力。

技术框架：SCPL算法包含三个主要模块：价值一致性模块、动态模块和策略一致性模块。价值一致性模块通过显著性图引导智能体关注任务相关的像素，确保在原始和扰动观察下价值函数的一致性。动态模块使用数据增强技术，帮助编码器捕获与环境动态和奖励相关的状态表示。策略一致性模块通过KL散度约束，保持原始和扰动观察下策略的一致性。整体流程是：输入原始图像和扰动图像，经过编码器提取特征，然后分别输入到价值一致性模块和动态模块，最后通过策略一致性模块进行策略优化。

关键创新：SCPL的关键创新在于将显著性信息融入到策略学习过程中，并同时考虑了价值一致性和策略一致性。与传统的强化学习方法相比，SCPL能够更好地关注与任务相关的特征，并学习到更加鲁棒和泛化的策略。此外，动态模块通过数据增强的方式，提高了编码器对环境动态的理解能力。

关键设计：价值一致性模块使用显著性图作为注意力机制的引导，损失函数设计为原始图像和扰动图像价值函数之间的均方误差。动态模块使用随机裁剪、颜色抖动等数据增强方法。策略一致性模块使用KL散度作为策略分布差异的度量，并将其添加到总损失函数中。具体的网络结构和参数设置根据不同的环境和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCPL在DMC-GB、机器人操作和CARLA基准测试中取得了显著的性能提升。在DMC视频困难设置中，SCPL的平均性能提升了14％；在机器人困难设置中，提升了39％；在CARLA基准测试中，提升高达69％。这些结果表明，SCPL在视觉强化学习的泛化能力方面具有显著优势，优于当前最先进的方法。

🎯 应用场景

SCPL算法在机器人操作、自动驾驶等领域具有广泛的应用前景。例如，可以应用于训练机器人在复杂环境中完成抓取、放置等任务，或者训练自动驾驶汽车在各种天气和光照条件下安全行驶。该研究有助于提高智能体在真实世界中的适应性和可靠性，推动人工智能技术的实际应用。

📄 摘要（原文）

Generalizing policies to unseen scenarios remains a critical challenge in visual reinforcement learning, where agents often overfit to the specific visual observations of the training environment. In unseen environments, distracting pixels may lead agents to extract representations containing task-irrelevant information. As a result, agents may deviate from the optimal behaviors learned during training, thereby hindering visual generalization.To address this issue, we propose the Salience-Invariant Consistent Policy Learning (SCPL) algorithm, an efficient framework for zero-shot generalization. Our approach introduces a novel value consistency module alongside a dynamics module to effectively capture task-relevant representations. The value consistency module, guided by saliency, ensures the agent focuses on task-relevant pixels in both original and perturbed observations, while the dynamics module uses augmented data to help the encoder capture dynamic- and reward-relevant representations. Additionally, our theoretical analysis highlights the importance of policy consistency for generalization. To strengthen this, we introduce a policy consistency module with a KL divergence constraint to maintain consistent policies across original and perturbed observations.Extensive experiments on the DMC-GB, Robotic Manipulation, and CARLA benchmarks demonstrate that SCPL significantly outperforms state-of-the-art methods in terms of generalization. Notably, SCPL achieves average performance improvements of 14\%, 39\%, and 69\% in the challenging DMC video hard setting, the Robotic hard setting, and the CARLA benchmark, respectively.Project Page: https://sites.google.com/view/scpl-rl.