Bubbleformer: Forecasting Boiling with Transformers
作者: Sheikh Md Shakeel Hassan, Xianwei Zou, Akash Dhruv, Vishwanath Ganesan, Aparna Chandramowlishwaran
分类: cs.LG, cs.AI, cs.CE
发布日期: 2025-07-28
备注: 39 pages, 13 figures, Submitted to NeurIPS 2025
💡 一句话要点
Bubbleformer：利用Transformer预测沸腾现象，实现自主长程动态预测。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 沸腾预测 Transformer 时空建模 两相流 传热
📋 核心要点
- 现有沸腾建模方法依赖未来输入，无法自主预测成核，且难以捕捉流体沸腾中复杂的界面-动量耦合。
- Bubbleformer利用Transformer架构，结合分解轴向注意力、频率感知缩放等技术，实现自主、长程、稳定的沸腾动态预测。
- Bubbleformer在BubbleML 2.0数据集上取得了新的基准结果，并通过物理指标验证了其在混沌系统中的物理保真度。
📝 摘要（中文）
对沸腾现象（能量和热力系统中的核心多相过程，本质上是混沌的）进行建模，对于神经偏微分方程代理模型来说仍然是一个巨大的挑战。现有的模型在推理过程中需要未来的输入（例如，气泡的位置），因为它们无法从过去的状态中学习成核过程，这限制了它们自主预测沸腾动态的能力。同时，它们也无法对流体沸腾速度场进行建模，其中尖锐的界面-动量耦合需要长程和方向性的归纳偏置。我们引入了Bubbleformer，一个基于Transformer的时空模型，可以预测稳定和长程的沸腾动态，包括成核、界面演化和传热，而无需在推理过程中依赖模拟数据。Bubbleformer集成了分解轴向注意力、频率感知缩放，并以热物理参数为条件，以推广到不同的流体、几何形状和操作条件。为了评估混沌系统中物理保真度，我们提出了可解释的、基于物理的指标，用于评估热通量一致性、界面几何形状和质量守恒。我们还发布了BubbleML 2.0，一个高保真数据集，涵盖了不同的工作流体（低温流体、制冷剂、电介质）、沸腾配置（池沸腾和流动沸腾）、流动状态（气泡流、团状流、环状流）和边界条件。Bubbleformer在两相沸腾流的预测和预报方面都取得了新的基准结果。
🔬 方法详解
问题定义：论文旨在解决现有神经偏微分方程代理模型在沸腾现象建模方面的不足。现有模型无法自主预测沸腾动态，需要未来的气泡位置等信息作为输入，限制了其应用范围。此外，现有模型难以准确模拟流体沸腾中的速度场，特别是界面-动量耦合带来的挑战。
核心思路：论文的核心思路是利用Transformer架构强大的时空建模能力，学习沸腾过程中的复杂动态。通过引入分解轴向注意力机制，模型能够有效地捕捉长程依赖关系，从而实现对成核、界面演化和传热等关键过程的准确预测。同时，模型通过频率感知缩放和条件输入热物理参数，增强了泛化能力。
技术框架：Bubbleformer是一个基于Transformer的时空模型，其整体架构包含以下几个主要模块：1) 输入编码模块：将沸腾系统的状态（如温度、压力、速度场）编码为模型可处理的特征向量。2) Transformer编码器：利用多层Transformer编码器学习时空特征，捕捉沸腾过程中的长程依赖关系。3) 解码模块：将编码后的特征解码为未来的沸腾状态。4) 输出模块：将解码后的状态转换为物理量，如温度场、速度场和气泡位置。
关键创新：Bubbleformer的关键创新在于以下几个方面：1) 提出了基于Transformer的沸腾建模方法，能够自主预测沸腾动态。2) 引入了分解轴向注意力机制，有效捕捉了沸腾过程中的长程依赖关系。3) 提出了频率感知缩放方法，增强了模型的泛化能力。4) 构建了BubbleML 2.0数据集，为沸腾建模研究提供了高质量的数据支持。
关键设计：Bubbleformer的关键设计包括：1) 分解轴向注意力：将注意力机制分解为空间和时间两个维度，降低了计算复杂度，提高了效率。2) 频率感知缩放：根据不同频率分量的能量大小，对特征进行缩放，增强了模型对高频信息的敏感性。3) 损失函数：采用了多种损失函数，包括均方误差损失、物理约束损失等，以保证模型的预测精度和物理一致性。4) 数据集：BubbleML 2.0数据集包含了多种工作流体、沸腾配置和流动状态，为模型的训练和评估提供了丰富的数据。
🖼️ 关键图片
📊 实验亮点
Bubbleformer在BubbleML 2.0数据集上取得了显著的性能提升，在预测精度和长程预测能力方面均优于现有方法。通过物理指标评估，Bubbleformer在热通量一致性、界面几何形状和质量守恒方面表现出色，验证了其在混沌系统中的物理保真度。
🎯 应用场景
Bubbleformer在能源、热力系统设计和优化方面具有广泛的应用前景。例如，可以用于预测核反应堆中的沸腾行为，优化冷却系统的设计，提高能源利用效率。此外，该模型还可以应用于化工、制冷等领域，为相关工艺的优化提供指导。
📄 摘要（原文）
Modeling boiling (an inherently chaotic, multiphase process central to energy and thermal systems) remains a significant challenge for neural PDE surrogates. Existing models require future input (e.g., bubble positions) during inference because they fail to learn nucleation from past states, limiting their ability to autonomously forecast boiling dynamics. They also fail to model flow boiling velocity fields, where sharp interface-momentum coupling demands long-range and directional inductive biases. We introduce Bubbleformer, a transformer-based spatiotemporal model that forecasts stable and long-range boiling dynamics including nucleation, interface evolution, and heat transfer without dependence on simulation data during inference. Bubbleformer integrates factorized axial attention, frequency-aware scaling, and conditions on thermophysical parameters to generalize across fluids, geometries, and operating conditions. To evaluate physical fidelity in chaotic systems, we propose interpretable physics-based metrics that evaluate heat-flux consistency, interface geometry, and mass conservation. We also release BubbleML 2.0, a high-fidelity dataset that spans diverse working fluids (cryogens, refrigerants, dielectrics), boiling configurations (pool and flow boiling), flow regimes (bubbly, slug, annular), and boundary conditions. Bubbleformer sets new benchmark results in both prediction and forecasting of two-phase boiling flows.