Constrained Transformer-Based Porous Media Generation to Spatial Distribution of Rock Properties
作者: Zihan Ren, Sanjay Srinivasan, Dustin Crandall
分类: cs.CV, physics.geo-ph
发布日期: 2024-10-28
备注: 24 pages
💡 一句话要点
提出基于约束Transformer的多孔介质生成方法，用于模拟岩石属性的空间分布
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting)
关键词: 多孔介质生成 Transformer模型 VQVAE 岩石物理 孔隙尺度建模
📋 核心要点
- 现有深度学习模型在生成3D岩石微观结构时，无法考虑岩石属性的空间分布，这会影响岩石的输运特性。
- 该论文提出了一种两阶段模型，利用VQVAE压缩图像，并使用Transformer模型以自回归方式重建任意大小的3D多孔介质，同时考虑空间关系。
- 实验结果表明，该方法能够有效地生成多孔介质模型，并准确模拟CO2和盐水的渗透率和多相流相对渗透率等输运特性。
📝 摘要（中文）
本文提出了一种两阶段建模框架，结合了向量量化变分自编码器（VQVAE）和Transformer模型，用于空间尺度放大和任意大小的3D多孔介质自回归重建。VQVAE首先将子体积训练图像压缩并量化为低维tokens，然后训练Transformer按照特定的空间顺序将这些tokens空间组装成更大的图像。通过采用多token生成策略，该方法既保留了子体积的完整性，又保留了这些子图像块之间的空间关系。使用来自测试井的真实数据验证了该方法，展示了其仅使用空间孔隙度模型即可生成井尺度多孔介质模型的潜力。插值的代表性多孔介质反映了油田尺度的地质属性，能够准确地模拟输运特性，包括CO2和盐水的渗透率和多相流相对渗透率。
🔬 方法详解
问题定义：现有基于深度学习的岩石图像生成方法无法有效模拟岩石属性的空间分布，导致生成的微观结构难以反映宏观的输运特性，并且生成的结构通常小于代表性单元体积（REV），限制了其在油藏尺度建模中的应用。
核心思路：该论文的核心思路是将多孔介质的生成过程分解为两个阶段：首先使用VQVAE将小尺寸的岩石图像块编码为离散的tokens，然后利用Transformer模型学习这些tokens之间的空间关系，从而实现大尺寸多孔介质的生成。这种方法既保留了局部图像块的细节，又考虑了整体的空间分布。
技术框架：该框架包含两个主要阶段：1) VQVAE编码阶段：使用VQVAE将3D岩石微观结构的子体积图像压缩并量化为低维tokens。VQVAE由编码器、码本和解码器组成。编码器将输入图像映射到潜在空间，码本包含一组预定义的向量，用于量化潜在空间中的向量。解码器将量化后的向量重构为图像。2) Transformer生成阶段：训练一个Transformer模型，以自回归的方式生成tokens序列，从而重建大尺寸的多孔介质。Transformer模型以VQVAE生成的tokens作为输入，并预测下一个token的概率分布。
关键创新：该方法的主要创新在于结合了VQVAE和Transformer模型，实现了一种可控的、能够反映空间属性的多孔介质生成方法。通过VQVAE进行图像压缩和特征提取，降低了Transformer模型的计算复杂度，并保留了图像的细节信息。Transformer模型能够学习tokens之间的长程依赖关系，从而生成具有空间一致性的多孔介质结构。
关键设计：在VQVAE中，码本的大小是一个重要的参数，它决定了离散化潜在空间的精度。在Transformer模型中，采用了多token生成策略，即一次生成多个tokens，以提高生成效率并保持子体积的完整性。损失函数包括VQVAE的重构损失和Transformer的交叉熵损失。网络结构方面，VQVAE采用了3D卷积神经网络，Transformer采用了标准的Transformer架构。
🖼️ 关键图片
📊 实验亮点
该论文使用真实测试井的数据验证了所提出的方法，结果表明，该方法能够仅使用空间孔隙度模型生成井尺度多孔介质模型，并准确模拟CO2和盐水的渗透率和多相流相对渗透率等输运特性。这表明该方法具有很强的实际应用价值。
🎯 应用场景
该研究成果可应用于地质碳储存（GCS）过程中CO2和盐水多相流的孔隙尺度建模，为油藏尺度的数值模拟提供更准确的输入参数。此外，该方法还可用于其他多孔介质材料的设计和优化，例如燃料电池电极、催化剂载体等，具有广泛的应用前景。
📄 摘要（原文）
Pore-scale modeling of rock images based on information in 3D micro-computed tomography data is crucial for studying complex subsurface processes such as CO2 and brine multiphase flow during Geologic Carbon Storage (GCS). While deep learning models can generate 3D rock microstructures that match static rock properties, they have two key limitations: they don't account for the spatial distribution of rock properties that can have an important influence on the flow and transport characteristics (such as permeability and relative permeability) of the rock and they generate structures below the representative elementary volume (REV) scale for those transport properties. Addressing these issues is crucial for building a consistent workflow between pore-scale analysis and field-scale modeling. To address these challenges, we propose a two-stage modeling framework that combines a Vector Quantized Variational Autoencoder (VQVAE) and a transformer model for spatial upscaling and arbitrary-size 3D porous media reconstruction in an autoregressive manner. The VQVAE first compresses and quantizes sub-volume training images into low-dimensional tokens, while we train a transformer to spatially assemble these tokens into larger images following specific spatial order. By employing a multi-token generation strategy, our approach preserves both sub-volume integrity and spatial relationships among these sub-image patches. We demonstrate the effectiveness of our multi-token transformer generation approach and validate it using real data from a test well, showcasing its potential to generate models for the porous media at the well scale using only a spatial porosity model. The interpolated representative porous media that reflect field-scale geological properties accurately model transport properties, including permeability and multiphase flow relative permeability of CO2 and brine.