Co-Design of Aeroelastic Systems with Deep Reinforcement Learning
作者: Yao Cheng Li, Urban Fasel
分类: eess.SY
发布日期: 2026-07-20
💡 一句话要点
提出基于深度强化学习的气动弹性系统协同设计方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 气动弹性 深度强化学习 协同设计 控制策略 优化算法 无人机设计 飞行控制
📋 核心要点
- 现有方法往往忽视了气动弹性系统中设计与控制之间的紧密耦合，导致性能不足。
- 本文提出的框架利用深度强化学习，通过设计条件控制策略与候选设计参数的分布更新实现协同设计。
- 实验结果显示，该方法在多个案例中有效提升了设计搜索效率，且在复杂环境中表现出更好的稳定性和性能。
📝 摘要（中文）
控制协同设计同时考虑物理系统及其控制器，使得系统设计与控制之间的强耦合关系得以揭示和利用。本文提出了一种基于深度强化学习的无模型嵌套协同设计框架，专注于气动弹性系统的设计与控制。该框架通过近端策略优化训练设计条件控制策略，同时外部循环更新候选设计参数的分布。通过对三种复杂度逐渐增加的案例进行评估，结果表明该框架能够有效集中设计搜索到高性能区域，并优于随机采样设计训练的策略。最后的案例展示了在气动弹性耦合和环境不确定性下，方法能够共同解决机翼设计、飞行控制和任务级行为的问题，突显了无模型协同设计在复杂气动弹性系统中的潜力。
🔬 方法详解
问题定义：本文旨在解决气动弹性系统中设计与控制之间的耦合问题，现有方法往往无法有效整合这两者，导致系统性能不佳。
核心思路：提出一种无模型的嵌套协同设计框架，利用深度强化学习中的近端策略优化算法，训练设计条件控制策略，并通过外部循环更新设计参数分布，以实现设计与控制的协同优化。
技术框架：整体框架包括两个主要模块：内层为控制策略的训练，外层为设计参数的分布更新。内层通过强化学习优化控制策略，外层则根据控制策略的反馈调整设计参数的搜索范围。
关键创新：该方法的创新在于将设计与控制的优化过程嵌套在一起，形成一个闭环系统，显著提高了设计搜索的效率和效果，尤其在复杂的气动弹性环境中。
关键设计：在技术细节上，采用了近端策略优化算法作为控制策略训练的核心，设计了适应性奖励函数以促进在部分可观测和随机环境中的稳定学习，同时在案例中使用了多种设计参数设置以验证框架的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在三个案例中均优于随机采样设计训练的策略，特别是在最后的高纵横比滑翔机案例中，成功实现了机翼设计、飞行控制与任务行为的协同优化，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括航空航天、无人机设计及其他需要考虑气动弹性效应的工程系统。通过优化设计与控制的协同过程，可以显著提升飞行器的操控性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Control co-design considers the physical system and its controller together, enabling the strong coupling between system design and control to be uncovered and exploited. This is especially relevant in aeroelastic flight systems, where structural, aerodynamic, and control design choices jointly determine manoeuvrability and efficiency. This paper presents a model-free nested co-design framework for aeroelastic systems using deep reinforcement learning, in which a design-conditioned control policy is trained with proximal policy optimisation while an outer loop updates a distribution over candidate design parameters. The approach is evaluated on three case studies of increasing complexity: a spring-mass-damper system, a pitch-plunge-flap aerofoil, and a highly flexible high-aspect-ratio glider performing a thermal-soaring mission in a stochastic environment. Across these case studies, the framework is shown to progressively concentrate the design search towards high-performing regions and to outperform policies trained on randomly sampled designs. The results also show that reward shaping plays an important role in enabling stable learning in partially observed and stochastic environments. In the final glider case, the method jointly addresses wing design, flight control, and mission-level behaviour in the presence of aeroelastic coupling and atmospheric uncertainty. These results highlight the potential of model-free co-design for complex aeroelastic systems in which design, control, and mission objectives are tightly coupled.