Do Large Language Models Solve the Problems of Agent-Based Modeling? A Critical Review of Generative Social Simulations

📄 arXiv: 2504.03274v1 📥 PDF

作者: Maik Larooij, Petter Törnberg

分类: cs.MA, cs.AI

发布日期: 2025-04-04

💡 一句话要点

大型语言模型能否解决基于Agent建模的问题？对生成式社会模拟的批判性回顾

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent-Based Modeling 大型语言模型 社会模拟 生成式ABM 模型验证

📋 核心要点

  1. 基于Agent建模（ABM）长期面临现实性、复杂性和验证等挑战，阻碍了其在社会科学中的应用。
  2. 生成式ABM试图通过集成大型语言模型（LLM）来改进ABM，但其有效性和对现有问题的解决程度尚不明确。
  3. 该论文批判性地评估了生成式ABM文献，发现其在验证和解决ABM长期挑战方面存在不足，并质疑LLM的贡献。

📝 摘要（中文）

人工智能的最新进展重振了基于Agent的模型（ABM），大型语言模型（LLM）的集成导致了“生成式ABM”的出现，这是一种模拟社会系统的新方法。虽然ABM提供了将微观层面的互动与宏观层面的模式联系起来的手段，但长期以来一直受到社会科学家的批评，例如缺乏现实主义、计算复杂性以及针对经验数据进行校准和验证的挑战。本文回顾了生成式ABM文献，以评估这种新方法如何充分解决这些长期存在的批评。我们的研究结果表明，研究对历史辩论的认识有限。验证仍然没有得到很好的解决，许多研究仅仅依赖于对模型“可信度”的主观评估，即使是最严格的验证也未能充分证明操作有效性。我们认为，有理由相信LLM会加剧而不是解决ABM的长期挑战。LLM的黑盒性质也限制了它们在理清复杂涌现的因果机制方面的作用。虽然生成式ABM仍处于早期实验阶段，但这些发现质疑该领域能否以及如何过渡到为社会科学理论做出贡献所需的严格建模类型。

🔬 方法详解

问题定义：论文旨在评估基于大型语言模型（LLM）的生成式Agent-Based Modeling (ABM) 是否能够有效解决传统ABM所面临的长期挑战，例如缺乏现实主义、计算复杂性以及难以进行经验数据校准和验证。现有ABM方法的痛点在于其参数设置和模型验证过程往往依赖于主观判断，难以保证模型的可靠性和泛化能力。

核心思路：论文的核心思路是通过系统性地回顾和分析现有的生成式ABM文献，考察这些研究如何应对传统ABM的挑战。作者并非直接提出一种新的建模方法，而是对现有方法进行批判性评估，旨在揭示其潜在的局限性，并为未来的研究方向提供指导。

技术框架：该论文采用文献综述的方法，没有具体的算法或模型架构。其研究流程主要包括：1) 确定生成式ABM的相关文献；2) 提取文献中关于模型构建、验证和应用的关键信息；3) 分析这些研究如何解决传统ABM的挑战；4) 总结生成式ABM的优势和不足，并提出未来的研究方向。

关键创新：该论文的创新之处在于其对生成式ABM领域的首次系统性批判性回顾。它并非简单地介绍或推广生成式ABM，而是深入分析了其在解决传统ABM挑战方面的实际效果，并指出了其潜在的局限性。这种批判性的视角有助于推动该领域的健康发展。

关键设计：由于是文献综述，没有具体的参数设置、损失函数或网络结构。论文的关键在于其评估标准，即生成式ABM是否能够有效地解决传统ABM所面临的现实主义、复杂性和验证等挑战。作者通过分析现有文献，发现许多研究在验证方面存在不足，过度依赖主观评估，缺乏对操作有效性的充分证据。

📊 实验亮点

该论文的主要亮点在于对现有生成式ABM研究的批判性评估。研究发现，尽管LLM的引入为ABM带来了新的可能性，但许多研究在模型验证方面存在不足，过度依赖主观评估，缺乏对操作有效性的充分证据。此外，LLM的黑盒特性也限制了其在理解复杂社会现象方面的作用。

🎯 应用场景

该研究对社会科学领域的建模与仿真具有重要意义。通过批判性地评估生成式ABM，可以帮助研究人员更理性地看待LLM在社会模拟中的应用，避免盲目乐观。研究结果可以指导未来的ABM研究，使其更加注重模型验证和理论基础，从而提高模型的可靠性和实用性。

📄 摘要（原文）

Recent advancements in AI have reinvigorated Agent-Based Models (ABMs), as the integration of Large Language Models (LLMs) has led to the emergence of `generative ABMs'' as a novel approach to simulating social systems. While ABMs offer means to bridge micro-level interactions with macro-level patterns, they have long faced criticisms from social scientists, pointing to e.g., lack of realism, computational complexity, and challenges of calibrating and validating against empirical data. This paper reviews the generative ABM literature to assess how this new approach adequately addresses these long-standing criticisms. Our findings show that studies show limited awareness of historical debates. Validation remains poorly addressed, with many studies relying solely on subjective assessments of modelbelievability', and even the most rigorous validation failing to adequately evidence operational validity. We argue that there are reasons to believe that LLMs will exacerbate rather than resolve the long-standing challenges of ABMs. The black-box nature of LLMs moreover limit their usefulness for disentangling complex emergent causal mechanisms. While generative ABMs are still in a stage of early experimentation, these findings question of whether and how the field can transition to the type of rigorous modeling needed to contribute to social scientific theory.