Focus On What Matters: Separated Models For Visual-Based RL Generalization

📄 arXiv: 2410.10834v1 📥 PDF

作者: Di Zhang, Bowen Lv, Hai Zhang, Feifan Yang, Junqiao Zhao, Hang Yu, Chang Huang, Hongtu Zhou, Chen Ye, Changjun Jiang

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2024-09-29

💡 一句话要点

提出SMG，通过分离模型和一致性损失提升视觉RL泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 泛化能力 分离模型 图像重建 一致性损失

📋 核心要点

  1. 视觉RL泛化面临挑战，现有方法易过拟合任务无关特征，限制了泛化能力。
  2. SMG通过分离模型提取任务相关和无关表征，并引入一致性损失避免过拟合。
  3. 实验表明，SMG在DMC和机器人操作任务中均表现出优异的泛化性能和鲁棒性。

📝 摘要（中文）

基于视觉的强化学习（RL）的一个主要挑战是如何在未见过的环境中有效地泛化。虽然之前的研究探索了不同的辅助任务来增强泛化能力，但由于担心在训练过程中会加剧对任务无关特征的过拟合，很少采用图像重建。意识到图像重建在表征学习中的卓越地位，我们提出SMG（用于泛化的分离模型），这是一种利用图像重建进行泛化的新方法。SMG引入了两个模型分支，通过协同重建，分别从视觉观察中提取任务相关和任务无关的表征。在此架构的基础上，我们进一步强调了任务相关特征对于泛化的重要性。具体来说，SMG结合了两个额外的一致性损失，以引导智能体在不同场景中关注任务相关的区域，从而避免过拟合。在DMC中的大量实验表明，SMG在泛化方面表现出SOTA性能，尤其是在视频背景设置中表现出色。在机器人操作任务上的评估进一步证实了SMG在实际应用中的鲁棒性。

🔬 方法详解

问题定义：视觉强化学习在复杂环境中泛化能力不足，现有方法难以区分任务相关和无关特征，导致模型易受干扰，泛化性能下降。尤其是在背景变化剧烈或存在干扰因素时，智能体难以专注于关键信息。

核心思路：SMG的核心在于将视觉表征学习过程解耦为任务相关和任务无关两个分支，通过协同重建图像的方式，迫使两个分支学习到不同的特征。同时，通过一致性损失，引导智能体更加关注任务相关的区域，从而提高泛化能力。

技术框架：SMG包含两个主要分支：任务相关分支和任务无关分支。两个分支共享一个编码器，将原始图像编码成潜在表征。然后，两个分支分别对潜在表征进行处理，并解码成重建图像。通过最小化重建误差，迫使两个分支学习到不同的特征。此外，SMG还引入了两个一致性损失，用于约束任务相关分支在不同场景下学习到一致的特征。

关键创新：SMG的关键创新在于分离模型的设计和一致性损失的引入。分离模型能够有效地提取任务相关和无关的特征，避免了模型对无关特征的过拟合。一致性损失则进一步引导智能体关注任务相关的区域，提高了泛化能力。与现有方法相比，SMG能够更好地应对复杂环境中的干扰因素，从而获得更好的泛化性能。

关键设计：SMG使用了两个一致性损失：场景一致性损失和视角一致性损失。场景一致性损失用于约束任务相关分支在不同场景下学习到一致的特征。视角一致性损失用于约束任务相关分支在不同视角下学习到一致的特征。损失函数的权重需要根据具体任务进行调整。网络结构方面，编码器和解码器可以使用各种常见的卷积神经网络结构，例如ResNet或VGG。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SMG在DMC环境中取得了SOTA的泛化性能，尤其是在视频背景设置中表现出色。与现有方法相比，SMG在多个任务上取得了显著的性能提升。在机器人操作任务上的实验也表明，SMG在实际应用中具有良好的鲁棒性。具体来说，SMG在DMC的walker walk任务上，相比基线方法提升了超过10%的性能。

🎯 应用场景

SMG在机器人操作、自动驾驶、游戏AI等领域具有广泛的应用前景。它可以帮助智能体在复杂、动态的环境中更好地学习和泛化，从而提高智能体的自主性和适应性。例如，在机器人操作中，SMG可以帮助机器人更好地识别和抓取目标物体，即使在光照条件变化或存在遮挡的情况下也能保持稳定。

📄 摘要（原文）

A primary challenge for visual-based Reinforcement Learning (RL) is to generalize effectively across unseen environments. Although previous studies have explored different auxiliary tasks to enhance generalization, few adopt image reconstruction due to concerns about exacerbating overfitting to task-irrelevant features during training. Perceiving the pre-eminence of image reconstruction in representation learning, we propose SMG (Separated Models for Generalization), a novel approach that exploits image reconstruction for generalization. SMG introduces two model branches to extract task-relevant and task-irrelevant representations separately from visual observations via cooperatively reconstruction. Built upon this architecture, we further emphasize the importance of task-relevant features for generalization. Specifically, SMG incorporates two additional consistency losses to guide the agent's focus toward task-relevant areas across different scenarios, thereby achieving free from overfitting. Extensive experiments in DMC demonstrate the SOTA performance of SMG in generalization, particularly excelling in video-background settings. Evaluations on robotic manipulation tasks further confirm the robustness of SMG in real-world applications.