Emergence and Causality in Complex Systems: A Survey on Causal Emergence and Related Quantitative Studies

📄 arXiv: 2312.16815v3 📥 PDF

作者: Bing Yuan, Zhang Jiang, Aobo Lyu, Jiayun Wu, Zhipeng Wang, Mingzhe Yang, Kaiwei Liu, Muyun Mou, Peng Cui

分类: physics.soc-ph, cs.AI, nlin.AO

发布日期: 2023-12-28 (更新: 2024-02-25)

备注: 57 pages, 17 figures, 1 table

💡 一句话要点

综述因果涌现理论及其量化研究，连接复杂系统、因果关系与机器学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果涌现 复杂系统 因果关系 机器学习 因果表征学习

📋 核心要点

  1. 现有方法难以有效量化和识别复杂系统中的因果涌现现象，阻碍了对复杂系统本质的理解。
  2. 论文综述了因果涌现理论，利用因果关系度量来量化涌现，并结合机器学习技术在数据中识别因果涌现。
  3. 论文强调了因果涌现与因果表征学习、因果模型抽象和基于世界模型的强化学习之间的联系，指出它们可以相互促进。

📝 摘要（中文）

涌现和因果关系是理解复杂系统的两个基本概念，它们相互关联。一方面，涌现指的是宏观属性不能完全归因于个体属性的原因的现象。另一方面，因果关系可以表现出涌现性，这意味着当我们提高抽象层次时，可能会出现新的因果规律。因果涌现理论旨在弥合这两个概念，甚至采用因果关系度量来量化涌现。本文全面回顾了因果涌现的定量理论和应用的最新进展，重点关注量化因果涌现和在数据中识别因果涌现这两个关键问题。解决后者需要使用机器学习技术，从而建立了因果涌现与人工智能之间的联系。论文强调，用于识别因果涌现的架构与因果表征学习、因果模型抽象和基于世界模型的强化学习共享。因此，这些领域中的任何进展都可以使其他领域受益。最后一部分讨论了潜在的应用和未来展望。

🔬 方法详解

问题定义：论文旨在解决复杂系统中因果涌现的量化和识别问题。现有方法在处理复杂系统时，难以将宏观层面的涌现属性与微观层面的个体属性联系起来，缺乏有效的量化工具和识别方法。这导致我们难以理解复杂系统的本质，以及不同抽象层次之间的因果关系。

核心思路：论文的核心思路是利用因果关系度量来量化涌现现象，并将机器学习技术应用于数据中因果涌现的识别。通过建立因果涌现与因果表征学习、因果模型抽象和基于世界模型的强化学习之间的联系，可以借鉴这些领域的进展来促进因果涌现的研究。

技术框架：论文主要分为两个部分：一是回顾和总结现有的因果涌现量化方法，包括基于信息论、计算力学等的方法；二是探讨如何利用机器学习技术，特别是深度学习模型，从数据中识别因果涌现。这部分涉及因果表征学习、因果模型抽象和基于世界模型的强化学习等相关技术。整体流程是：首先定义因果涌现的概念，然后介绍现有的量化方法，接着讨论如何利用机器学习技术进行识别，最后探讨应用和未来方向。

关键创新：论文的关键创新在于：1) 系统地综述了因果涌现的量化方法和识别技术；2) 强调了因果涌现与因果表征学习、因果模型抽象和基于世界模型的强化学习之间的联系，指出它们可以相互促进；3) 提出了利用机器学习技术从数据中识别因果涌现的思路，为未来的研究提供了新的方向。与现有方法相比，该综述更全面、更系统，并强调了跨学科的联系。

关键设计：论文本身是一篇综述，没有具体的算法或模型设计。但是，论文中讨论了各种因果涌现的量化方法，例如基于转移熵、格兰杰因果关系等信息论的方法，以及基于计算力学的方法。此外，论文还讨论了如何利用深度学习模型，例如变分自编码器（VAE）、生成对抗网络（GAN）等，进行因果表征学习和因果模型抽象，从而识别因果涌现。具体的参数设置、损失函数、网络结构等细节取决于具体的应用场景和所选择的机器学习模型。

📊 实验亮点

由于是综述文章，没有具体的实验结果。论文亮点在于总结了现有的因果涌现量化方法，并强调了因果涌现与因果表征学习、因果模型抽象和基于世界模型的强化学习之间的联系。这些联系为未来的研究提供了新的思路和方向，例如可以借鉴因果表征学习的成果来提高因果涌现的识别精度。

🎯 应用场景

该研究的潜在应用领域包括复杂网络分析、社会系统建模、生物系统建模、人工智能安全等。通过理解和量化复杂系统中的因果涌现现象，可以更好地预测和控制复杂系统的行为，例如预测金融市场的波动、优化交通网络的效率、提高人工智能系统的鲁棒性。未来，该研究有望为设计更智能、更可靠的人工智能系统提供理论基础。

📄 摘要（原文）

Emergence and causality are two fundamental concepts for understanding complex systems. They are interconnected. On one hand, emergence refers to the phenomenon where macroscopic properties cannot be solely attributed to the cause of individual properties. On the other hand, causality can exhibit emergence, meaning that new causal laws may arise as we increase the level of abstraction. Causal emergence theory aims to bridge these two concepts and even employs measures of causality to quantify emergence. This paper provides a comprehensive review of recent advancements in quantitative theories and applications of causal emergence. Two key problems are addressed: quantifying causal emergence and identifying it in data. Addressing the latter requires the use of machine learning techniques, thus establishing a connection between causal emergence and artificial intelligence. We highlighted that the architectures used for identifying causal emergence are shared by causal representation learning, causal model abstraction, and world model-based reinforcement learning. Consequently, progress in any of these areas can benefit the others. Potential applications and future perspectives are also discussed in the final section of the review.