A Two-Stage, Model-Based Reinforcement Learning Approach for Active Flow Control of Bluff Body Wakes
作者: Aayushman Sharma, Suman Chakravorty
分类: eess.SY
发布日期: 2026-09-08
备注: 9 pages, 7 figures
💡 一句话要点
提出基于模型的强化学习方法以主动控制非定常流动
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 流动控制 非线性系统 ARMA模型 控制理论 Navier-Stokes 动态系统 优化控制
📋 核心要点
- 现有方法在处理高维非线性系统时，往往面临未知和不稳定平衡点的挑战，导致控制效果不佳。
- 论文提出了一种基于ARMA模型的两阶段控制架构，结合迭代线性二次调节器（iLQR）和局部时间不变ARMA模型，实现系统的稳定化。
- 在Navier-Stokes模拟中，使用仅八个表面压力传感器，控制器成功抑制了涡脱落引起的升力振荡，并减少了44%的总阻力。
📝 摘要（中文）
本文开发了一种数据驱动的输出反馈方法，针对高维非线性系统的无限时域最优控制问题，尤其是那些具有未知和不稳定平衡点的系统。该方法基于转移加调节的分解框架，通过有限时域非线性转移将系统驱动至动态可用线性模型的区域，并在该区域内应用无限时域线性调节器实现稳定化。我们将该框架扩展至部分观测设置，结合基于自回归移动平均（ARMA）的信息状态构建与两阶段控制架构，最终在高保真Navier-Stokes模拟中验证了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决高维非线性系统的无限时域最优控制问题，尤其是那些具有未知和不稳定平衡点的系统。现有方法通常依赖于全状态访问或复杂的模型，难以在实际应用中实现。
核心思路：论文的核心思路是通过转移加调节的分解方法，将系统驱动至一个动态可用线性模型的区域，并在该区域内应用线性调节器进行稳定化。该方法结合了ARMA模型和两阶段控制架构，以适应部分观测的情况。
技术框架：整体架构分为两个主要阶段：第一阶段使用迭代线性二次调节器（iLQR）在信息状态上进行控制，将系统驱动至平衡点邻域；第二阶段则利用局部识别的时间不变ARMA模型提供无限时域调节器，实现渐进稳定化。
关键创新：最重要的技术创新在于无需使用伴随求解器、降阶模型或全状态访问，显著降低了对系统信息的需求，同时保持了控制效果的有效性。
关键设计：在设计中，采用了ARMA模型进行信息状态构建，iLQR方法用于驱动系统至平衡点，且控制器的参数设置经过精心调整，以确保在有限观测条件下的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，控制器成功抑制了涡脱落引起的升力振荡，且相较于未控制的基线，整体阻力减少了44%。这一成果展示了该方法在高维非线性系统控制中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括航空航天、汽车工程及其他涉及流体动力学的工程领域。通过有效控制涡流和流动特性，能够显著提升系统的性能和稳定性，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper develops a data-driven, output-feedback approach to the infinite-horizon optimal control of high-dimensional nonlinear systems with unknown and unstable equilibria, using sparse partial observations. The approach builds on the transfer-plus-regulation decomposition of the infinite-horizon problem: a finite-horizon nonlinear transfer drives the system into a region where the dynamics are well-approximated by a linear model about the unknown operating point, and an infinite-horizon linear regulator identified within that region completes stabilization. We extend this framework to the partially observed setting by combining an ARMA-based information-state construction with a two-stage control architecture: an iterative linear quadratic regulator (iLQR) approach on the information state drives the system to the equilibrium neighborhood, discovered implicitly without prior knowledge of the target, and a locally identified time-invariant ARMA model provides the infinite-horizon regulator for asymptotic stabilization. The method requires no adjoint solver, reduced-order model, or full-state access. We validate the approach on high-fidelity Navier-Stokes simulations of the cylinder wake at $\mathrm{Re}=100$ using only eight surface pressure sensors, an order of magnitude fewer than recent model-based RL methods. The controller achieves complete suppression of vortex-shedding-induced lift oscillations and a $44\%$ reduction in total drag relative to the uncontrolled baseline.