Towards Agentic Agent-based Models: Feasibility, Performance, and Statistical Model Checking

📄 arXiv: 2607.17948v1 📥 PDF

作者: Stefano Blando, Emanuele Guerrazzi, Riccardo Porcedda, Giuseppe Squillace, Max Tschaikowski, Andrea Vandin

分类: cs.AI, cs.MA

发布日期: 2026-07-20

💡 一句话要点

提出基于LLM的代理模型以提升ABM的可靠性与性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代理模型 大型语言模型 统计模型检查 Schelling模型 混合人口模型 决策机制 计算机模拟

📋 核心要点

  1. 现有的代理模型在处理复杂决策时存在局限，尤其是在引入LLM后，如何保持可靠性和性能成为挑战。
  2. 本文提出了一种将LLM集成到Mesa ABM模型中的方法，通过混合人口模型来研究LLM驱动决策的影响。
  3. 实验表明，较小的LLM在简单语义分类中表现不佳，而较大的模型则能够有效执行任务，验证了方法的有效性。

📝 摘要（中文）

代理模型（ABMs）依赖于简单、明确且可重复的规则进行个体决策，而复杂的集体行为则源于代理之间的互动。随着大型语言模型（LLMs）的发展，替代或丰富这些规则的可能性引发了方法论上的疑问：引入基于LLM的决策如何影响ABM模拟的可靠性、计算成本和行为？本文通过对Mesa ABM模型的研究，探讨了这一问题，并通过统计模型检查分析了引入LLM驱动决策的影响。我们扩展了经典的Schelling隔离模型，构建了一个混合人口模型，其中普通代理使用标准符号规则进行邻居分类，而一个代理则通过工具调用将此任务委托给LLM。实验结果表明，较小的LLM在语义分类任务中可能失败，而较大的模型则通过了初步检查。我们讨论了统计模型检查如何估计经典ABM可观察量，并量化引入代理LLM组件对模拟模型的影响。

🔬 方法详解

问题定义：本文旨在探讨引入大型语言模型（LLM）对代理模型（ABM）可靠性、计算成本和行为的影响。现有方法在复杂决策中可能导致性能下降，尤其在使用LLM时。

核心思路：通过将LLM与Mesa ABM模型结合，构建一个混合人口模型，其中普通代理使用传统规则，而特定代理则利用LLM进行决策，从而研究其对模拟结果的影响。

技术框架：整体架构包括三个主要模块：1) Mesa ABM模型的构建，2) LLM的集成与调用，3) 统计模型检查以评估模型性能。每个模块相互协作，确保模型的有效性和可靠性。

关键创新：最重要的创新在于将LLM引入传统的ABM框架中，形成了一个混合决策机制，能够在保留经典模型特性的同时，探索LLM的潜力。与现有方法相比，这种设计提供了更丰富的决策能力。

关键设计：在设计中，使用了不同规模的LLM进行实验，设置了特定的工具调用机制以实现邻居分类，并通过统计模型检查量化引入LLM后对模型行为的影响。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，较小的LLM在简单语义分类任务中表现不佳，而较大的模型则成功通过了初步检查。这表明，LLM的规模对其在ABM中的应用效果有显著影响，验证了引入LLM的可行性和必要性。

🎯 应用场景

该研究的潜在应用领域包括社会科学、经济模型和城市规划等领域，能够帮助研究人员更好地理解复杂系统中的个体行为与集体动态。未来，集成LLM的ABM模型可能在政策制定、市场预测等方面发挥重要作用。

📄 摘要（原文）

Agent-based models (ABMs) rely on simple, explicit and reproducible rules for individual decision making, while complex collective behavior emerges from interactions among agents. Recent advances in large language models (LLMs) make it tempting to replace, enrich, or perturb these rules with LLM-based agentic capabilities. However, this raises a methodological question: how does introducing LLM-driven decisions affect the reliability, computational cost, and behavior of ABM simulations? We investigate this for Mesa ABM models, a popular Python library for ABMs, analyzed by statistical model checking. Building on Mesa's integration with the statistical model checker MultiVeStA, we extend the classical Schelling segregation model with a hybrid population: ordinary agents classify neighbors using the standard symbolic rule, while one agent delegates this task to an LLM through tool calls. The LLM-enabled agent receives natural-language descriptions of neighboring agents and invokes tools that increment counters of similar/different neighbors; these counters determine its happiness according to the original Schelling dynamics. This provides a minimal but controlled setting where the semantic, operational, and computational behavior of LLM-based decisions can be studied inside an otherwise standard ABM. We report preliminary experiments with locally served LLMs of different sizes, showing that smaller models may fail simple semantic classification experiments or become operationally unusable during repeated tool-call generation, while larger tested models pass these preliminary checks. We discuss how statistical model checking can estimate classical ABM observables and quantify the impact of introducing agentic LLM components into simulation models.