Transfer learning-enhanced deep reinforcement learning for aerodynamic airfoil optimisation subject to structural constraints

📄 arXiv: 2505.02634v2 📥 PDF

作者: David Ramos, Lucas Lacasa, Eusebio Valero, Gonzalo Rubio

分类: cs.LG, physics.comp-ph

发布日期: 2025-05-05 (更新: 2025-08-01)

备注: Accepted in Physics of Fluids 20 pages, 7 figures

💡 一句话要点

提出基于迁移学习的深度强化学习方法，用于满足结构约束的气动翼型优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 迁移学习 气动翼型优化 结构约束 计算流体力学

📋 核心要点

  1. 传统翼型优化方法计算成本高昂，且难以同时满足气动性能和结构约束。
  2. 利用迁移学习增强的深度强化学习，通过智能体与环境交互学习优化策略，实现高效的翼型设计。
  3. 实验表明，该方法在计算效率和气动性能提升方面优于粒子群优化，并能有效节省计算资源。

📝 摘要（中文）

本文提出了一种基于迁移学习增强的深度强化学习(DRL)方法，旨在优化任何翼型的几何形状，同时考虑气动和结构完整性标准。为了展示该方法，目标是最大化升阻比$C_L/C_D$，同时保持翼型的结构完整性（通过其最大厚度建模）。使用一系列不同的迁移学习(TL)策略来训练DRL智能体。将DRL智能体的性能与粒子群优化(PSO)（一种传统的无梯度优化方法）进行比较。结果表明，DRL智能体能够执行纯气动和混合气动/结构形状优化，DRL方法在计算效率和气动改进方面优于PSO，并且经过TL增强的DRL智能体实现了与DRL智能体相当的性能，同时进一步节省了大量的计算资源。

🔬 方法详解

问题定义：论文旨在解决气动翼型优化问题，具体目标是在满足结构完整性约束（通过翼型的最大厚度建模）的前提下，最大化翼型的升阻比（$C_L/C_D$）。现有方法，如粒子群优化(PSO)，计算效率较低，难以在复杂约束下找到最优解。

核心思路：论文的核心思路是利用深度强化学习(DRL)智能体与气动环境进行交互，通过学习找到最优的翼型几何形状。同时，为了加速学习过程并节省计算资源，引入了迁移学习(TL)策略，将从其他相关任务中学习到的知识迁移到当前任务中。

技术框架：整体框架包含以下几个主要模块：1) 翼型参数化模块：用于生成不同几何形状的翼型；2) 气动/结构分析模块：用于评估翼型的气动性能（如升阻比）和结构完整性（如最大厚度）；3) DRL智能体：负责根据当前翼型的状态（如几何参数、气动性能）选择下一步的翼型修改动作；4) 奖励函数：用于评估智能体所采取动作的优劣，并指导智能体的学习方向；5) 迁移学习模块：用于将从其他翼型优化任务中学习到的知识迁移到当前任务中。

关键创新：该论文的关键创新在于将迁移学习与深度强化学习相结合，用于气动翼型优化。与传统的DRL方法相比，TL-enhanced DRL能够更快地收敛到最优解，并节省大量的计算资源。此外，该方法能够同时考虑气动性能和结构约束，从而设计出更实用的翼型。

关键设计：论文中使用了深度神经网络作为DRL智能体的策略网络，用于预测在给定状态下采取不同动作的概率。奖励函数的设计至关重要，它需要能够准确地反映翼型的气动性能和结构完整性。具体的奖励函数形式未知，但应该包含升阻比和最大厚度等指标。迁移学习策略的具体实现方式未知，可能包括参数迁移、特征迁移或策略迁移等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于迁移学习的深度强化学习方法在气动翼型优化方面优于传统的粒子群优化(PSO)方法。DRL智能体能够有效地最大化升阻比，同时满足结构约束。更重要的是，经过迁移学习增强的DRL智能体在性能上与未经过迁移学习的DRL智能体相当，但能够显著节省计算资源，具体节省比例未知。

🎯 应用场景

该研究成果可应用于航空航天、风力发电等领域，用于设计高性能、高可靠性的翼型。通过优化翼型几何形状，可以提高飞行器的升力、降低阻力，从而提高飞行效率和航程。在风力发电领域，可以提高风力机的发电效率，降低发电成本。此外，该方法还可以扩展到其他工程优化问题，如汽车外形设计、船舶结构优化等。

📄 摘要（原文）

The main objective of this paper is to introduce a transfer learning-enhanced deep reinforcement learning (DRL) methodology that is able to optimise the geometry of any airfoil based on concomitant aerodynamic and structural integrity criteria. To showcase the method, we aim to maximise the lift-to-drag ratio $C_L/C_D$ while preserving the structural integrity of the airfoil -- as modelled by its maximum thickness -- and train the DRL agent using a list of different transfer learning (TL) strategies. The performance of the DRL agent is compared with Particle Swarm Optimisation (PSO), a traditional gradient-free optimisation method. Results indicate that DRL agents are able to perform purely aerodynamic and hybrid aerodynamic/structural shape optimisation, that the DRL approach outperforms PSO in terms of computational efficiency and aerodynamic improvement, and that the TL-enhanced DRL agent achieves performance comparable to the DRL one, while further saving substantial computational resources.