FlowBERT: Prompt-tuned BERT for variable flow field prediction

📄 arXiv: 2506.08021v1 📥 PDF

作者: Weihao Zou, Weibing Feng, Pin Wu

分类: cs.LG, physics.flu-dyn

发布日期: 2025-05-20

💡 一句话要点

FlowBERT：基于Prompt调优的BERT用于变流场预测，提升泛化性和计算效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流场预测 大型语言模型 知识迁移 本征正交分解 计算流体动力学

📋 核心要点

  1. 传统CFD计算成本高昂，现有深度学习模型泛化能力有限，难以适应不同工况。
  2. 利用POD降维压缩流场特征，并微调预训练LLM，使模型学习在状态空间中编码系统动力学。
  3. 实验表明，FlowBERT在少样本学习中优于Transformer，且在不同工况和几何形状下具有良好的泛化性。

📝 摘要（中文）

本研究提出了一种基于大型语言模型（LLM）知识迁移的通用流场预测框架，旨在解决传统计算流体动力学（CFD）方法的高计算成本以及现有深度学习模型有限的跨条件迁移能力。该框架创新性地将本征正交分解（POD）降维与预训练LLM的微调策略相结合，其中POD有助于压缩流场特征的表示，而微调后的模型学习在状态空间中编码系统动力学。为了增强模型对流场数据的适应性，我们专门设计了面向流体动力学的文本模板，通过丰富的上下文语义信息来提高预测性能。实验结果表明，我们的框架在少样本学习场景中优于传统的Transformer模型，同时在各种流入条件和翼型几何形状中表现出卓越的泛化能力。消融研究揭示了FlowBERT架构中关键组件的贡献。与需要数小时计算的传统Navier-Stokes方程求解器相比，我们的方法将预测时间缩短到几秒，同时保持90%以上的准确率。所开发的知识迁移范式为快速流体动力学预测建立了一个新的方向，其潜在应用可扩展到空气动力学优化、流动控制和其他工程领域。

🔬 方法详解

问题定义：论文旨在解决传统计算流体动力学（CFD）方法计算成本高昂，以及现有深度学习模型跨条件泛化能力不足的问题。传统CFD方法需要耗费大量计算资源和时间，而现有的深度学习模型在面对新的流动条件或几何形状时，往往需要重新训练，泛化性能较差。

核心思路：论文的核心思路是将大型语言模型（LLM）的知识迁移能力应用于流场预测。通过利用预训练LLM所学习到的通用语言知识，并结合流体动力学领域的特定知识，可以有效地提高模型的预测精度和泛化能力。此外，论文还采用了本征正交分解（POD）降维技术，以降低流场数据的维度，从而减少计算量。

技术框架：FlowBERT的整体框架包括以下几个主要模块：1) POD降维模块：用于对原始流场数据进行降维处理，提取主要的流场特征。2) LLM微调模块：利用预训练的BERT模型，并根据流体动力学领域的特定数据进行微调，使模型能够更好地理解和预测流场的变化。3) Prompt设计模块：设计特定的文本模板，将流场数据转换为文本形式，以便LLM能够更好地处理。4) 预测模块：利用微调后的LLM，根据输入的文本信息，预测未来的流场状态。

关键创新：论文最重要的技术创新点在于将大型语言模型（LLM）应用于流场预测。与传统的深度学习模型相比，LLM具有更强的知识迁移能力和泛化能力，可以更好地适应不同的流动条件和几何形状。此外，论文还创新性地设计了面向流体动力学的文本模板，通过引入上下文语义信息，提高了模型的预测性能。

关键设计：论文的关键设计包括：1) POD降维的维度选择：需要根据具体的流场数据进行调整，以保证能够提取到主要的流场特征，同时又不会引入过多的噪声。2) LLM微调的学习率和训练轮数：需要根据具体的任务进行调整，以避免过拟合或欠拟合。3) Prompt模板的设计：需要根据流体动力学的物理规律进行设计，以保证能够有效地将流场数据转换为文本信息。4) 损失函数的设计：采用均方误差（MSE）作为损失函数，以衡量预测值与真实值之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlowBERT在少样本学习场景中优于传统的Transformer模型，并且在各种流入条件和翼型几何形状中表现出卓越的泛化能力。与需要数小时计算的传统Navier-Stokes方程求解器相比，FlowBERT将预测时间缩短到几秒，同时保持90%以上的准确率。消融实验验证了POD降维和Prompt设计对模型性能的贡献。

🎯 应用场景

FlowBERT具有广泛的应用前景，可应用于空气动力学优化、流动控制、飞行器设计、汽车工程等领域。该方法能够快速准确地预测流场变化，为工程设计提供重要的参考依据，加速产品研发周期，降低研发成本。未来，该方法还可以扩展到其他流体动力学问题，如湍流模拟、多相流模拟等。

📄 摘要（原文）

This study proposes a universal flow field prediction framework based on knowledge transfer from large language model (LLM), addressing the high computational costs of traditional computational fluid dynamics (CFD) methods and the limited cross-condition transfer capability of existing deep learning models. The framework innovatively integrates Proper Orthogonal Decomposition (POD) dimensionality reduction with fine-tuning strategies for pretrained LLM, where POD facilitates compressed representation of flow field features while the fine-tuned model learns to encode system dynamics in state space. To enhance the model's adaptability to flow field data, we specifically designed fluid dynamics-oriented text templates that improve predictive performance through enriched contextual semantic information. Experimental results demonstrate that our framework outperforms conventional Transformer models in few-shot learning scenarios while exhibiting exceptional generalization across various inflow conditions and airfoil geometries. Ablation studies reveal the contributions of key components in the FlowBERT architecture. Compared to traditional Navier-Stokes equation solvers requiring hours of computation, our approach reduces prediction time to seconds while maintaining over 90% accuracy. The developed knowledge transfer paradigm establishes a new direction for rapid fluid dynamics prediction, with potential applications extending to aerodynamic optimization, flow control, and other engineering domains.