The Curse of Diversity in Ensemble-Based Exploration

📄 arXiv: 2405.04342v1 📥 PDF

作者: Zhixuan Lin, Pierluca D'Oro, Evgenii Nikishin, Aaron Courville

分类: cs.LG

发布日期: 2024-05-07

备注: Published as a conference paper at ICLR 2024

💡 一句话要点

揭示并缓解基于集成探索的深度强化学习中存在的“多样性诅咒”现象

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 集成学习 探索策略 表征学习 多样性诅咒

📋 核心要点

  1. 现有基于集成探索的深度强化学习方法在共享数据时，个体智能体性能会显著下降，面临“多样性诅咒”的挑战。
  2. 论文提出交叉集成表征学习（CERL）方法，利用表征学习来缓解由于数据异构性导致的性能下降问题。
  3. 实验表明，CERL在离散和连续控制任务中均能有效提升集成智能体的性能，验证了其缓解“多样性诅咒”的潜力。

📝 摘要（中文）

本文揭示了深度强化学习中一个令人惊讶的现象：训练一个共享数据的多样化智能体集成——一种成熟的探索策略——与标准的单智能体训练相比，会显著降低每个集成成员的性能。通过仔细分析，我们将性能下降归因于每个集成成员共享训练数据中自我生成数据的比例较低，以及个体集成成员难以从此类高度off-policy数据中学习。因此，我们将这种现象命名为“多样性诅咒”。我们发现，一些直观的解决方案——例如更大的回放缓冲区或更小的集成规模——要么未能持续缓解性能损失，要么削弱了集成的优势。最后，我们展示了表征学习在离散和连续控制领域通过一种名为交叉集成表征学习（CERL）的新方法来抵消多样性诅咒的潜力。我们的工作为基于集成的探索中一个意想不到的陷阱提供了有价值的见解，并为未来类似方法的应用提出了重要的警告。

🔬 方法详解

问题定义：论文旨在解决深度强化学习中，使用数据共享的集成方法进行探索时，个体智能体性能下降的问题。现有方法在集成探索时，由于每个智能体训练数据中来自自身的数据比例过低，导致学习效率降低，出现“多样性诅咒”。

核心思路：论文的核心思路是利用表征学习，使得集成中的不同智能体能够更好地理解和利用彼此生成的数据。通过学习一个共享的、鲁棒的表征空间，降低数据异构性带来的负面影响，从而提升个体智能体的学习效率。

技术框架：论文提出的Cross-Ensemble Representation Learning (CERL) 方法包含以下主要阶段：1) 使用集成中的每个智能体与环境交互，收集数据；2) 将收集到的数据共享给所有智能体；3) 每个智能体使用共享数据进行训练，同时学习一个共享的表征空间；4) 使用学习到的表征进行策略更新。

关键创新：CERL的关键创新在于引入了跨集成的表征学习机制。与传统的集成方法不同，CERL不仅仅是简单地共享数据，而是通过学习一个共享的表征空间，使得不同智能体能够更好地理解和利用彼此的数据。这种方法能够有效地缓解由于数据异构性导致的性能下降问题。

关键设计：CERL的关键设计包括：1) 使用对比学习损失函数来学习共享的表征空间，鼓励相似状态具有相似的表征；2) 使用动量编码器来稳定表征学习过程；3) 将学习到的表征用于策略网络的输入，从而提升策略的学习效率。具体的损失函数和网络结构细节在论文中有详细描述。

📊 实验亮点

实验结果表明，CERL在Atari游戏和MuJoCo连续控制任务中均取得了显著的性能提升。例如，在某些Atari游戏中，CERL的性能超过了传统的集成方法，并且接近甚至超过了单智能体的性能。在MuJoCo任务中，CERL也表现出更快的学习速度和更高的最终性能，验证了其缓解“多样性诅咒”的有效性。

🎯 应用场景

该研究成果可应用于各种需要高效探索的强化学习任务中，例如机器人控制、游戏AI、自动驾驶等。通过缓解“多样性诅咒”，可以提升集成强化学习算法的性能和稳定性，降低训练成本，加速智能体的学习过程。未来的研究可以探索更有效的表征学习方法，进一步提升集成探索的效率。

📄 摘要（原文）

We uncover a surprising phenomenon in deep reinforcement learning: training a diverse ensemble of data-sharing agents -- a well-established exploration strategy -- can significantly impair the performance of the individual ensemble members when compared to standard single-agent training. Through careful analysis, we attribute the degradation in performance to the low proportion of self-generated data in the shared training data for each ensemble member, as well as the inefficiency of the individual ensemble members to learn from such highly off-policy data. We thus name this phenomenon the curse of diversity. We find that several intuitive solutions -- such as a larger replay buffer or a smaller ensemble size -- either fail to consistently mitigate the performance loss or undermine the advantages of ensembling. Finally, we demonstrate the potential of representation learning to counteract the curse of diversity with a novel method named Cross-Ensemble Representation Learning (CERL) in both discrete and continuous control domains. Our work offers valuable insights into an unexpected pitfall in ensemble-based exploration and raises important caveats for future applications of similar approaches.