Reinforcement learning Based Automated Design of Differential Evolution Algorithm for Black-box Optimization

📄 arXiv: 2501.12881v1 📥 PDF

作者: Xu Yang, Rui Wang, Kaiwen Li, Ling Wang

分类: cs.NE, cs.AI

发布日期: 2025-01-22

💡 一句话要点

提出基于强化学习的差分进化算法自动设计框架，用于黑盒优化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 差分进化 黑盒优化 元学习 算法自动设计

📋 核心要点

  1. 现有差分进化算法变体众多，但缺乏通用性，难以针对特定黑盒优化问题选择最优配置。
  2. 利用强化学习作为元优化器，自动设计差分进化算法的初始化策略、更新规则和超参数，以适应特定问题。
  3. 通过双深度Q网络实现，在黑盒优化基准上验证了框架的有效性，并与现有算法进行了比较。

📝 摘要（中文）

差分进化(DE)算法因其无导数特性，被认为是解决黑盒优化问题最有效的进化算法之一。为了进一步提升性能，研究者们提出了许多改进的DE算法，包括创新的变异策略和复杂的参数调整技术。然而，没有一种变体在所有问题上都表现出普遍的优越性。为了解决这个挑战，本文提出了一种新颖的框架，该框架利用强化学习(RL)通过元学习自动设计DE算法，用于黑盒优化。RL作为一个高级元优化器，生成定制的DE配置，包括针对特定黑盒优化问题的最佳初始化策略、更新规则和超参数。这个过程通过对问题特征的详细分析来指导。在这项概念验证研究中，我们使用双深度Q网络进行实现，同时考虑了40种可能的策略组合和参数优化。该框架的性能通过黑盒优化基准进行评估，并与最先进的算法进行比较。实验结果突出了我们提出的框架的潜力。

🔬 方法详解

问题定义：论文旨在解决黑盒优化问题，即目标函数没有显式表达式或梯度信息。现有的差分进化算法虽然有效，但其性能高度依赖于变异策略和参数设置，而这些设置往往需要手动调整，且难以泛化到不同的问题上。因此，如何自动地为特定黑盒优化问题设计合适的差分进化算法是一个挑战。

核心思路：论文的核心思路是利用强化学习（RL）作为元优化器，自动搜索差分进化算法的配置空间，包括初始化策略、更新规则和超参数。通过分析问题特征，RL智能体能够学习到针对不同问题的最佳DE配置，从而提高优化性能。这种方法将算法设计问题转化为一个序列决策问题，并利用RL的探索能力来寻找最优解。

技术框架：该框架包含以下主要模块：1) 问题特征提取模块：用于提取黑盒优化问题的特征，例如目标函数的维度、搜索空间范围等。2) 强化学习智能体：使用双深度Q网络（Double Deep Q-Network, DDQN）作为RL智能体，负责根据问题特征选择DE算法的配置。3) 差分进化算法执行器：根据RL智能体选择的配置，执行DE算法并评估其性能。4) 奖励函数：根据DE算法的性能（例如，目标函数值的改进）来计算奖励，并反馈给RL智能体，用于更新其策略。整个流程是一个迭代过程，RL智能体不断学习和改进，最终找到针对特定问题的最佳DE配置。

关键创新：该论文的关键创新在于将强化学习应用于差分进化算法的自动设计。与传统的参数调整方法相比，该方法能够自动地学习到针对不同问题的最佳配置，无需人工干预。此外，该框架能够同时优化DE算法的多个方面，包括初始化策略、更新规则和超参数，从而实现更全面的优化。

关键设计：论文使用双深度Q网络作为RL智能体，以解决Q学习中的过估计问题。状态空间由问题特征组成，动作空间由40种可能的DE策略组合和参数优化组成。奖励函数根据DE算法在一定迭代次数后的目标函数值改进程度来设计。具体来说，奖励可以是目标函数值的负变化量，或者是一个与目标函数值变化相关的函数。网络结构和超参数（例如，学习率、折扣因子）需要根据具体问题进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在黑盒优化基准测试中表现出良好的性能，能够自动设计出针对特定问题的有效差分进化算法。与传统的手动调整方法和一些现有的优化算法相比，该框架能够取得更好的优化结果，并且具有更强的鲁棒性。具体的性能数据和对比基线在论文中进行了详细展示。

🎯 应用场景

该研究成果可广泛应用于各种黑盒优化问题，例如工程设计、机器学习模型优化、参数调优等。通过自动设计差分进化算法，可以显著降低人工干预的需求，提高优化效率和性能。未来，该方法有望扩展到其他进化算法和优化问题，为自动化算法设计提供新的思路。

📄 摘要（原文）

Differential evolution (DE) algorithm is recognized as one of the most effective evolutionary algorithms, demonstrating remarkable efficacy in black-box optimization due to its derivative-free nature. Numerous enhancements to the fundamental DE have been proposed, incorporating innovative mutation strategies and sophisticated parameter tuning techniques to improve performance. However, no single variant has proven universally superior across all problems. To address this challenge, we introduce a novel framework that employs reinforcement learning (RL) to automatically design DE for black-box optimization through meta-learning. RL acts as an advanced meta-optimizer, generating a customized DE configuration that includes an optimal initialization strategy, update rule, and hyperparameters tailored to a specific black-box optimization problem. This process is informed by a detailed analysis of the problem characteristics. In this proof-of-concept study, we utilize a double deep Q-network for implementation, considering a subset of 40 possible strategy combinations and parameter optimizations simultaneously. The framework's performance is evaluated against black-box optimization benchmarks and compared with state-of-the-art algorithms. The experimental results highlight the promising potential of our proposed framework.