Reinforcement learning for anisotropic p-adaptation and error estimation in high-order solvers
作者: David Huergo, Martín de Frutos, Eduardo Jané, Oscar A. Marino, Gonzalo Rubio, Esteban Ferrer
分类: physics.flu-dyn, cs.LG, physics.comp-ph
发布日期: 2024-07-26 (更新: 2024-10-04)
备注: 38 pages, 18 figures, 5 tables
💡 一句话要点
提出基于强化学习的各向异性p-自适应方法，用于优化高阶求解器中的误差估计。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 网格自适应 高阶求解器 误差估计 计算流体力学
📋 核心要点
- 传统网格自适应方法依赖人工干预，计算资源分配效率低，且难以探索非常规网格。
- 利用强化学习动态调整高阶多项式，实现自动化网格细化，优化计算资源分配，并探索新的网格自适应策略。
- 通过层流、湍流等案例验证，表明该方法具有灵活性，能够应用于复杂的三维问题，并降低计算成本。
📝 摘要（中文）
本文提出了一种新颖的方法，利用强化学习（RL）来自动化和优化高阶h/p求解器中的各向异性p-自适应。动态RL自适应使用演化的解来调整高阶多项式。我们开发了一种离线训练方法，该方法与主求解器解耦，在执行模拟时显示出最小的额外成本。此外，我们还推导出了一种基于RL的低成本误差估计方法，该方法能够量化局部离散化误差。所提出的方法与计算网格和待求解的偏微分方程无关。将RL应用于网格自适应具有多项好处，它可以实现自动化和自适应的网格细化，减少了手动干预的需求。它通过在必要时动态分配高阶多项式并最小化稳定区域中的细化来优化计算资源，从而在保持解的准确性的同时节省计算成本。此外，RL允许探索非常规的网格自适应，从而可能提高仿真的准确性和鲁棒性。这项工作扩展了我们最初的研究，提供了一种更强大、可重现和通用的方法，适用于复杂的三维问题。我们为层流和湍流案例提供了验证：圆柱体、Taylor Green Vortex 和 10MW 风力涡轮机，以说明所提出方法的灵活性。
🔬 方法详解
问题定义：论文旨在解决高阶求解器中各向异性p-自适应问题，现有方法通常需要手动调整网格，耗时且效率低，难以在计算精度和计算成本之间取得平衡。此外，现有方法难以探索非传统的网格自适应策略，限制了仿真精度和鲁棒性的提升。
核心思路：论文的核心思路是利用强化学习（RL）来自动优化各向异性p-自适应过程。通过训练一个RL智能体，使其能够根据求解过程中的解动态调整高阶多项式，从而实现网格的自适应细化。这种方法旨在减少人工干预，优化计算资源分配，并探索更有效的网格自适应策略。
技术框架：该方法采用离线训练的方式，将RL智能体的训练与主求解器解耦。整体流程包括：1) 离线训练RL智能体，使其学习如何在不同情况下调整高阶多项式；2) 在实际仿真过程中，使用训练好的RL智能体动态调整网格；3) 利用RL智能体进行误差估计，量化局部离散化误差。
关键创新：该方法最重要的创新点在于将强化学习应用于网格自适应，实现了自动化和自适应的网格细化。与传统方法相比，该方法能够动态地分配计算资源，减少人工干预，并探索非常规的网格自适应策略。此外，该方法还提出了一种基于RL的低成本误差估计方法。
关键设计：论文中，RL智能体的具体网络结构和训练细节（如奖励函数的设计）未知。但是，强调了离线训练的重要性，以减少仿真过程中的额外开销。此外，误差估计方法也依赖于RL智能体的输出，具体实现细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过圆柱绕流、Taylor-Green涡流和10MW风力涡轮机等案例验证了该方法的有效性。结果表明，该方法能够实现自动化网格自适应，优化计算资源分配，并在保证计算精度的前提下降低计算成本。具体的性能提升数据未知。
🎯 应用场景
该研究成果可广泛应用于计算流体力学、结构力学等领域，例如飞行器设计、汽车工程、能源工程等。通过自动化网格自适应，可以显著减少仿真时间和计算成本，提高设计效率。此外，该方法还有助于探索更优的设计方案，提升产品性能。
📄 摘要（原文）
We present a novel approach to automate and optimize anisotropic p-adaptation in high-order h/p solvers using Reinforcement Learning (RL). The dynamic RL adaptation uses the evolving solution to adjust the high-order polynomials. We develop an offline training approach, decoupled from the main solver, which shows minimal overcost when performing simulations. In addition, we derive an inexpensive RL-based error estimation approach that enables the quantification of local discretization errors. The proposed methodology is agnostic to both the computational mesh and the partial differential equation to be solved. The application of RL to mesh adaptation offers several benefits. It enables automated and adaptive mesh refinement, reducing the need for manual intervention. It optimizes computational resources by dynamically allocating high-order polynomials where necessary and minimizing refinement in stable regions. This leads to computational cost savings while maintaining the accuracy of the solution. Furthermore, RL allows for the exploration of unconventional mesh adaptations, potentially enhancing the accuracy and robustness of simulations. This work extends our original research, offering a more robust, reproducible, and generalizable approach applicable to complex three-dimensional problems. We provide validation for laminar and turbulent cases: circular cylinders, Taylor Green Vortex and a 10MW wind turbine to illustrate the flexibility of the proposed approach.