Overcoming Deceptiveness in Fitness Optimization with Unsupervised Quality-Diversity
作者: Lisa Coiffard, Paul Templier, Antoine Cully
分类: cs.NE, cs.RO
发布日期: 2025-04-02 (更新: 2025-04-04)
💡 一句话要点
提出AURORA-XCon，通过无监督质量多样性优化解决控制问题中的欺骗性难题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 质量多样性 无监督学习 欺骗性优化 对比学习 机器人控制 策略优化 特征学习
📋 核心要点
- 传统优化方法在欺骗性适应度景观中易陷入局部最优，限制了控制问题的求解效果。
- 论文提出AURORA-XCon，利用无监督学习自动提取特征，并结合对比学习和周期性灭绝事件提升性能。
- 实验表明，AURORA-XCon在欺骗性优化问题上超越传统方法，并在某些情况下优于手工特征的QD算法高达34%。
📝 摘要（中文）
策略优化旨在根据目标或适应度函数寻找控制问题的最佳解决方案，是工程和研究领域的基础，广泛应用于机器人技术。传统的优化方法，如强化学习和进化算法，在欺骗性适应度景观中表现不佳，因为它们倾向于陷入局部最优。质量多样性（QD）算法通过维护多样化的中间解决方案作为跳板来逃避局部最优，提供了一种有前景的方法。然而，QD算法需要领域专业知识来定义手工设计的特征，限制了其在难以表征解决方案多样性的场景中的应用。本文表明，无监督QD算法——特别是AURORA框架，可以从感觉数据中学习特征——能够有效地解决欺骗性优化问题，而无需领域专业知识。通过使用对比学习和周期性灭绝事件增强AURORA，我们提出了AURORA-XCon，它优于所有传统的优化基线，并且在某些情况下甚至比具有领域特定手工设计特征的最佳QD基线提高了高达34%。这项工作确立了无监督QD算法的新应用，将其重点从发现新颖解决方案转向传统优化，并扩展了其在定义特征空间具有挑战性的领域的潜力。
🔬 方法详解
问题定义：论文旨在解决控制问题中存在的欺骗性优化难题。传统的优化方法，如强化学习和进化算法，在面对具有欺骗性的适应度景观时，容易陷入局部最优解，无法找到全局最优解。现有的质量多样性（QD）算法虽然能够通过维护多样性来避免局部最优，但需要人工设计特征，这限制了其在复杂问题中的应用，尤其是在难以定义有效特征的情况下。
核心思路：论文的核心思路是利用无监督学习自动提取特征，从而避免人工设计特征的需要。通过从感觉数据中学习特征，算法能够自动适应不同的问题，并发现有效的多样性度量。此外，论文还引入了对比学习和周期性灭绝事件，以进一步提高算法的性能和鲁棒性。
技术框架：AURORA-XCon框架基于AURORA算法，并进行了改进。整体流程包括以下几个步骤：1) 从环境中收集感觉数据；2) 使用无监督学习（对比学习）从感觉数据中提取特征；3) 使用QD算法（例如MAP-Elites）维护一个多样性的解决方案集合；4) 定期进行灭绝事件，以促进探索和避免陷入局部最优。
关键创新：论文的关键创新在于将无监督学习与QD算法相结合，从而实现了在欺骗性优化问题中无需人工设计特征的优化。此外，引入对比学习和周期性灭绝事件进一步提高了算法的性能。与现有方法相比，AURORA-XCon能够自动学习特征，并有效地解决欺骗性优化问题。
关键设计：AURORA-XCon的关键设计包括：1) 使用对比学习损失函数来训练特征提取器，鼓励学习到的特征能够区分不同的状态；2) 使用MAP-Elites算法来维护一个多样性的解决方案集合，并根据适应度和多样性指标来选择保留哪些解决方案；3) 定期进行灭绝事件，随机移除一部分解决方案，并用新的随机解决方案替换它们，以促进探索。具体的参数设置包括对比学习的温度参数、MAP-Elites的网格大小和灭绝事件的频率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AURORA-XCon在欺骗性优化问题上显著优于传统的优化基线。在某些情况下，AURORA-XCon甚至比具有领域特定手工设计特征的最佳QD基线提高了高达34%。这些结果表明，无监督学习与QD算法的结合是一种有效的解决欺骗性优化问题的方法，并且可以避免人工设计特征的需要。
🎯 应用场景
该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域。在这些领域中，优化问题往往具有欺骗性，难以通过传统方法解决。AURORA-XCon无需人工设计特征，能够自动适应不同的环境和任务，具有广泛的应用前景。未来，该方法有望扩展到更复杂的控制问题，并与其他优化技术相结合，进一步提高性能。
📄 摘要（原文）
Policy optimization seeks the best solution to a control problem according to an objective or fitness function, serving as a fundamental field of engineering and research with applications in robotics. Traditional optimization methods like reinforcement learning and evolutionary algorithms struggle with deceptive fitness landscapes, where following immediate improvements leads to suboptimal solutions. Quality-diversity (QD) algorithms offer a promising approach by maintaining diverse intermediate solutions as stepping stones for escaping local optima. However, QD algorithms require domain expertise to define hand-crafted features, limiting their applicability where characterizing solution diversity remains unclear. In this paper, we show that unsupervised QD algorithms - specifically the AURORA framework, which learns features from sensory data - efficiently solve deceptive optimization problems without domain expertise. By enhancing AURORA with contrastive learning and periodic extinction events, we propose AURORA-XCon, which outperforms all traditional optimization baselines and matches, in some cases even improving by up to 34%, the best QD baseline with domain-specific hand-crafted features. This work establishes a novel application of unsupervised QD algorithms, shifting their focus from discovering novel solutions toward traditional optimization and expanding their potential to domains where defining feature spaces poses challenges.