Improving the Robustness of Control of Chaotic Convective Flows with Domain-Informed Reinforcement Learning

📄 arXiv: 2511.00272v1 📥 PDF

作者: Michiel Straat, Thorben Markmann, Sebastian Peitz, Barbara Hammer

分类: cs.LG, physics.flu-dyn

发布日期: 2025-10-31

💡 一句话要点

提出领域知识驱动的强化学习方法，提升混沌对流控制的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 混沌控制 领域知识 Rayleigh-Bénard对流 近端策略优化

📋 核心要点

  1. 传统控制方法在混沌对流中失效，强化学习在复杂流动控制中的泛化性和鲁棒性不足。
  2. 利用领域知识，设计奖励函数，鼓励期望的宏观流动属性，提升强化学习控制器的性能。
  3. 实验表明，该方法在层流和混沌流中均能有效降低对流传热，且泛化能力更强。

📝 摘要（中文）

混沌对流广泛存在于微流体设备和化学反应器等实际系统中，稳定这些流动极具挑战性，尤其是在传统控制方法失效的混沌状态下。强化学习(RL)在层流控制中展现了潜力，但其在混沌和湍流动力学下的泛化性和鲁棒性仍待探索。本文针对Rayleigh-Bénard对流(RBC)这一对流传热的典型模型，提升了基于RL的控制在实际应用中的可行性。为了增强泛化性和样本效率，我们引入了领域知识驱动的RL智能体，使用近端策略优化在不同的初始条件和流动状态下进行训练。我们将领域知识融入奖励函数中，鼓励Bénard单元合并，以此作为期望的宏观属性。在层流状态下，领域知识驱动的RL智能体将对流传热降低了高达33%，在混沌状态下，仍然实现了10%的降低，明显优于实践中使用的传统控制器。结果表明，领域知识驱动的奖励设计能够产生稳定的流动，加快训练过程中的收敛速度，并在无需重新训练的情况下实现跨流动状态的泛化。这项工作表明，优雅的领域知识先验可以极大地增强基于RL的混沌流控制的鲁棒性，使实际部署更进一步。

🔬 方法详解

问题定义：论文旨在解决混沌对流的稳定控制问题，特别是在Rayleigh-Bénard对流(RBC)系统中。现有控制方法在混沌状态下失效，而直接应用强化学习的控制器泛化能力和鲁棒性不足，难以应对实际应用中复杂的流动状态。

核心思路：论文的核心思路是将领域知识融入强化学习的奖励函数中，引导智能体学习期望的宏观流动属性。具体而言，通过奖励Bénard单元的合并，鼓励智能体产生更稳定的流动状态，从而提高控制器的鲁棒性和泛化能力。

技术框架：整体框架包括：1) 使用Navier-Stokes方程模拟Rayleigh-Bénard对流；2) 设计领域知识驱动的奖励函数，鼓励Bénard单元合并；3) 使用近端策略优化(PPO)算法训练强化学习智能体；4) 在不同的初始条件和流动状态下评估智能体的性能。

关键创新：最重要的创新点在于将领域知识融入强化学习的奖励函数设计中。与传统的无信息奖励函数相比，领域知识驱动的奖励函数能够更有效地引导智能体学习期望的流动模式，从而提高控制器的性能和泛化能力。

关键设计：奖励函数包含两部分：一部分是控制目标（降低对流传热），另一部分是领域知识（鼓励Bénard单元合并）。Bénard单元合并的奖励基于图像处理技术，检测流动场中的单元数量，并给予合并单元的动作正向奖励。PPO算法使用默认参数，网络结构未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在层流状态下，领域知识驱动的RL智能体将对流传热降低了高达33%，在混沌状态下，仍然实现了10%的降低，明显优于实践中使用的传统控制器。此外，该方法能够加快训练过程中的收敛速度，并在无需重新训练的情况下实现跨流动状态的泛化，验证了领域知识驱动的强化学习在混沌对流控制中的有效性。

🎯 应用场景

该研究成果可应用于微流体设备、化学反应器等涉及混沌对流的实际系统，通过稳定流动状态，提高设备性能和效率。例如，在微流体芯片中，可以利用该方法优化混合效果或控制反应速率。未来，该方法有望推广到更复杂的湍流控制问题，并与其他控制技术相结合，实现更高效、更鲁棒的流动控制。

📄 摘要（原文）

Chaotic convective flows arise in many real-world systems, such as microfluidic devices and chemical reactors. Stabilizing these flows is highly desirable but remains challenging, particularly in chaotic regimes where conventional control methods often fail. Reinforcement Learning (RL) has shown promise for control in laminar flow settings, but its ability to generalize and remain robust under chaotic and turbulent dynamics is not well explored, despite being critical for real-world deployment. In this work, we improve the practical feasibility of RL-based control of such flows focusing on Rayleigh-Bénard Convection (RBC), a canonical model for convective heat transport. To enhance generalization and sample efficiency, we introduce domain-informed RL agents that are trained using Proximal Policy Optimization across diverse initial conditions and flow regimes. We incorporate domain knowledge in the reward function via a term that encourages Bénard cell merging, as an example of a desirable macroscopic property. In laminar flow regimes, the domain-informed RL agents reduce convective heat transport by up to 33%, and in chaotic flow regimes, they still achieve a 10% reduction, which is significantly better than the conventional controllers used in practice. We compare the domain-informed to uninformed agents: Our results show that the domain-informed reward design results in steady flows, faster convergence during training, and generalization across flow regimes without retraining. Our work demonstrates that elegant domain-informed priors can greatly enhance the robustness of RL-based control of chaotic flows, bringing real-world deployment closer.