Optimization of geological carbon storage operations with multimodal latent dynamic model and deep reinforcement learning

📄 arXiv: 2406.04575v1 📥 PDF

作者: Zhongzheng Wang, Yuntian Chen, Guodong Chen, Dongxiao Zhang

分类: cs.LG, cs.AI, stat.AP, stat.ML

发布日期: 2024-06-07

💡 一句话要点

提出多模态潜在动态模型与深度强化学习方法，优化地质碳封存运营

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地质碳封存 多模态学习 深度学习 强化学习 潜在动态模型 软演员-评论家算法 优化运营

📋 核心要点

  1. 传统地质碳封存优化依赖计算密集型模拟，面临计算挑战，阻碍了商业部署。
  2. 论文提出多模态潜在动态模型(MLD)，结合深度学习与强化学习，实现快速流动预测和井控制优化。
  3. 实验结果表明，该方法在降低计算资源消耗的同时，显著提升了净现值(NPV)，并具备良好的泛化能力。

📝 摘要（中文）

为了最大化地质碳封存(GCS)的存储性能，本文提出了一种名为多模态潜在动态(MLD)模型的深度学习框架，用于快速预测GCS中的流动情况并优化井控制。该MLD模型包含一个用于压缩潜在表征的表示模块、一个用于系统状态演化的转移模块和一个用于流动响应预测的预测模块。一种结合了回归损失和联合嵌入一致性损失的新型训练策略增强了时间一致性和多步预测精度。与现有模型不同，MLD支持多种输入模态，从而实现全面的数据交互。MLD模型类似于马尔可夫决策过程(MDP)，可以训练深度强化学习智能体，特别是使用软演员-评论家(SAC)算法，通过连续交互来最大化净现值(NPV)。该方法优于传统方法，在减少60%以上计算资源的同时实现了最高的NPV，并展示了强大的泛化性能，能够基于先前场景的知识为新场景提供改进的决策。

🔬 方法详解

问题定义：地质碳封存(GCS)运营优化旨在最大化碳封存效率和经济效益，但传统方法依赖于耗时的数值模拟，计算成本高昂，难以满足实时优化需求。现有方法难以有效融合多种数据模态，且泛化能力有限，难以适应复杂多变的地下环境。

核心思路：论文的核心思路是利用深度学习模型学习GCS系统的动态特性，构建一个能够快速预测系统状态演化的代理模型。该模型能够融合多种输入模态的数据，并利用强化学习算法优化井控制策略，从而在降低计算成本的同时，提升碳封存的净现值(NPV)。

技术框架：该方法包含两个主要部分：多模态潜在动态(MLD)模型和软演员-评论家(SAC)强化学习算法。MLD模型由三个模块组成：表示模块，用于将不同模态的输入数据编码为潜在表征；转移模块，用于预测系统状态的演化；预测模块，用于预测流动响应。SAC算法则利用MLD模型作为环境模型，通过与环境的交互学习最优的井控制策略。

关键创新：该方法的主要创新点在于提出了多模态潜在动态(MLD)模型，该模型能够有效融合多种输入模态的数据，并学习GCS系统的动态特性。此外，该方法还提出了一种结合回归损失和联合嵌入一致性损失的训练策略，增强了模型的时间一致性和多步预测精度。与传统方法相比，该方法能够显著降低计算成本，并提升碳封存的净现值(NPV)。

关键设计：MLD模型的表示模块采用卷积神经网络(CNN)或Transformer等结构，将不同模态的输入数据编码为潜在表征。转移模块采用循环神经网络(RNN)或Transformer等结构，预测系统状态的演化。预测模块采用多层感知机(MLP)等结构，预测流动响应。训练过程中，采用回归损失和联合嵌入一致性损失来优化模型参数。SAC算法采用双Q网络结构，并引入熵正则化项，以鼓励探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在实现最高净现值(NPV)的同时，将计算资源消耗降低了60%以上。此外，该方法还展示了强大的泛化性能，能够基于先前场景的知识为新场景提供改进的决策。与传统方法相比，该方法在碳封存效率和经济效益方面均有显著提升。

🎯 应用场景

该研究成果可应用于地质碳封存工程的优化运营，提高碳封存效率和经济效益。通过快速预测流动情况和优化井控制策略，可以降低运营成本，提升碳封存项目的商业可行性。此外，该方法还可推广至其他涉及复杂流体动力学过程的领域，如油气藏开发、地下水资源管理等。

📄 摘要（原文）

Maximizing storage performance in geological carbon storage (GCS) is crucial for commercial deployment, but traditional optimization demands resource-intensive simulations, posing computational challenges. This study introduces the multimodal latent dynamic (MLD) model, a deep learning framework for fast flow prediction and well control optimization in GCS. The MLD model includes a representation module for compressed latent representations, a transition module for system state evolution, and a prediction module for flow responses. A novel training strategy combining regression loss and joint-embedding consistency loss enhances temporal consistency and multi-step prediction accuracy. Unlike existing models, the MLD supports diverse input modalities, allowing comprehensive data interactions. The MLD model, resembling a Markov decision process (MDP), can train deep reinforcement learning agents, specifically using the soft actor-critic (SAC) algorithm, to maximize net present value (NPV) through continuous interactions. The approach outperforms traditional methods, achieving the highest NPV while reducing computational resources by over 60%. It also demonstrates strong generalization performance, providing improved decisions for new scenarios based on knowledge from previous ones.