Deep Reinforcement Learning for Multi-Objective Optimization: Enhancing Wind Turbine Energy Generation while Mitigating Noise Emissions
作者: Martín de Frutos, Oscar A. Marino, David Huergo, Esteban Ferrer
分类: eess.SY, cs.AI, math.OC
发布日期: 2024-07-18
💡 一句话要点
提出基于深度强化学习的风力涡轮机控制框架，优化能量生成并降低噪声排放。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 风力涡轮机控制 多目标优化 噪声控制 能量生成 叶素动量法 双深度Q学习
📋 核心要点
- 传统风力涡轮机控制方法难以在能量生成和噪声控制之间取得平衡，无法适应复杂多变的实际风况。
- 利用双深度Q学习，结合叶素动量和声学模型，训练智能体学习最优控制策略，实现能量最大化和噪声最小化。
- 实验表明，该方法在帕累托前沿找到最优解，并能适应复杂湍流风况，但在噪声限制下，能量提取量会减少。
📝 摘要（中文）
本文提出了一种基于深度强化学习的风力涡轮机力矩-桨距控制框架，旨在优化风力涡轮机的能量生成，同时最大限度地减少运行噪声。我们采用双深度Q学习，并结合叶素动量求解器，以实现对风力涡轮机参数的精确控制。除了叶素动量模型外，我们还使用了Brooks Pope和Marcolini的风力涡轮机声学模型。通过在简单风况下训练，智能体学习到最优控制策略，从而能够有效地控制复杂湍流风况。实验表明，该强化学习方法能够在最大化能量的同时最小化噪声，从而在帕累托前沿找到最优解。此外，强化学习智能体对不断变化的湍流风况的适应性，突显了其在实际应用中的有效性。我们使用额定功率为2.3兆瓦的SWT2.3-93风力涡轮机验证了该方法。我们将强化学习控制与经典控制进行了比较，结果表明，在不考虑噪声排放的情况下，两者具有可比性。当将噪声限制在45分贝以内（涡轮机下风100米处）时，每年的能量提取量减少了22%。该方法具有灵活性，可以通过奖励定义轻松调整目标和约束，从而为风力涡轮机控制提供了一个灵活的多目标优化框架。总的来说，我们的研究结果突出了基于强化学习的控制策略在提高风力涡轮机效率和减少噪声污染方面的潜力，从而推动了可持续能源发电技术的发展。
🔬 方法详解
问题定义：论文旨在解决风力涡轮机控制中能量生成最大化和噪声排放最小化之间的矛盾。传统控制方法通常侧重于能量捕获，而忽略了噪声污染，或者简单地设定噪声阈值，导致能量损失。现有的控制策略难以在复杂多变的湍流风况下实现多目标优化。
核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能体，使其能够根据当前的风况，动态调整风力涡轮机的力矩和桨距，从而在能量生成和噪声排放之间找到一个最优的平衡点。通过奖励函数的设计，引导智能体学习符合多目标优化的控制策略。
技术框架：整体框架包括以下几个主要模块：1) 环境模型：使用叶素动量（BEM）求解器模拟风力涡轮机的气动性能，并使用Brooks Pope和Marcolini声学模型评估噪声排放。2) 强化学习智能体：采用双深度Q学习（Double Deep Q-learning, DDQN）算法，学习最优控制策略。3) 奖励函数：根据能量生成和噪声排放情况，设计奖励信号，引导智能体进行学习。4) 控制器：根据智能体的输出，调整风力涡轮机的力矩和桨距。
关键创新：该方法最重要的创新在于将深度强化学习应用于风力涡轮机的多目标优化控制。与传统的控制方法相比，DRL能够自动学习复杂的控制策略，并适应不断变化的风况。此外，通过灵活的奖励函数设计，可以方便地调整优化目标和约束条件。
关键设计：关键设计包括：1) 状态空间：包括风速、转速、力矩等信息。2) 动作空间：包括力矩和桨距的调整量。3) 奖励函数：设计为能量生成的正向奖励和噪声排放的负向惩罚，并可以根据实际需求调整权重。4) DDQN网络结构：采用多层感知机（MLP）作为Q网络的结构，并使用经验回放和目标网络来提高学习的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够在最大化能量的同时最小化噪声，在帕累托前沿找到最优解。与经典控制方法相比，在不考虑噪声的情况下，性能相当。但当限制噪声在45dB以内时，能量提取量会减少22%。这表明该方法能够在噪声约束下，找到能量和噪声之间的最佳平衡。
🎯 应用场景
该研究成果可应用于实际风力发电场，通过优化风力涡轮机的控制策略，在提高能量产出的同时，降低噪声污染，从而提高风电的可持续性和社会接受度。该方法也适用于其他需要进行多目标优化的控制问题，例如智能电网、机器人控制等。
📄 摘要（原文）
We develop a torque-pitch control framework using deep reinforcement learning for wind turbines to optimize the generation of wind turbine energy while minimizing operational noise. We employ a double deep Q-learning, coupled to a blade element momentum solver, to enable precise control over wind turbine parameters. In addition to the blade element momentum, we use the wind turbine acoustic model of Brooks Pope and Marcolini. Through training with simple winds, the agent learns optimal control policies that allow efficient control for complex turbulent winds. Our experiments demonstrate that the reinforcement learning is able to find optima at the Pareto front, when maximizing energy while minimizing noise. In addition, the adaptability of the reinforcement learning agent to changing turbulent wind conditions, underscores its efficacy for real-world applications. We validate the methodology using a SWT2.3-93 wind turbine with a rated power of 2.3 MW. We compare the reinforcement learning control to classic controls to show that they are comparable when not taking into account noise emissions. When including a maximum limit of 45 dB to the noise produced (100 meters downwind of the turbine), the extracted yearly energy decreases by 22%. The methodology is flexible and allows for easy tuning of the objectives and constraints through the reward definitions, resulting in a flexible multi-objective optimization framework for wind turbine control. Overall, our findings highlight the potential of RL-based control strategies to improve wind turbine efficiency while mitigating noise pollution, thus advancing sustainable energy generation technologies