Generative Agents for Multi-Agent Autoformalization of Interaction Scenarios

📄 arXiv: 2412.08805v3 📥 PDF

作者: Agnieszka Mensfelt, Kostas Stathis, Vince Trencsenyi

分类: cs.AI

发布日期: 2024-12-11 (更新: 2025-05-29)

备注: code: https://github.com/dicelab-rhul/GAMA

💡 一句话要点

GAMA框架：利用生成式Agent自动形式化多Agent交互场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多Agent仿真 自动形式化 生成式Agent 大型语言模型 博弈论 逻辑程序 自然语言处理

📋 核心要点

  1. 多Agent仿真在探索自然和人工Agent之间的交互方面具有广泛应用，但其开发通常需要领域专业知识和大量人工。
  2. GAMA框架的核心思想是利用配备大型语言模型的生成式Agent，将自然语言描述的交互场景自动转化为可执行的逻辑程序。
  3. 实验结果表明，GAMA框架在自动形式化博弈论场景方面表现出色，使用Claude 3.5 Sonnet和GPT-4o均取得了较高的语法和语义正确率。

📝 摘要（中文）

本文提出了一种名为多Agent自动形式化生成式Agent（GAMA）的框架，该框架利用增强了大型语言模型（LLM）的Agent，自动形式化仿真中的交互场景。为了展示GAMA的应用，我们使用博弈论场景的自然语言描述，这些场景代表了社会互动，并将它们自动形式化为定义游戏规则的可执行逻辑程序，并通过基于求解器的验证来强制执行语法正确性。为了确保运行时有效性，一个迭代的、基于锦标赛的程序测试生成的规则和策略，然后在有真实结果可用时进行精确的语义验证。在对五个2x2同步行动博弈的110个自然语言描述进行的实验中，GAMA使用Claude 3.5 Sonnet实现了100%的语法正确性和76.5%的语义正确性，使用GPT-4o实现了99.82%的语法正确性和77%的语义正确性。该框架还在自动形式化Agent的策略方面表现出很高的语义准确性。

🔬 方法详解

问题定义：论文旨在解决多Agent仿真场景形式化过程中的人工依赖问题。现有方法需要领域专家手动设计和实现仿真规则，耗时且容易出错。尤其是在复杂交互场景下，形式化过程的难度和成本会显著增加。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，将自然语言描述的交互场景自动转化为可执行的逻辑程序。通过将LLM与Agent相结合，实现交互场景的自动形式化。

技术框架：GAMA框架包含以下主要模块：1) 自然语言输入：接收交互场景的自然语言描述。2) LLM驱动的规则生成：使用LLM将自然语言描述转化为逻辑程序，定义游戏规则和Agent策略。3) 语法验证：使用基于求解器的验证方法，确保生成的逻辑程序在语法上是正确的。4) 运行时验证：通过迭代的、基于锦标赛的程序测试生成的规则和策略，评估其在实际运行中的有效性。5) 语义验证：当有真实结果可用时，对生成的规则和策略进行精确的语义验证，确保其与真实情况相符。

关键创新：GAMA框架的关键创新在于将LLM与Agent相结合，实现了交互场景的自动形式化。与传统的手动形式化方法相比，GAMA框架可以显著降低开发成本和时间，并提高形式化的准确性和效率。此外，框架还引入了运行时验证和语义验证机制，进一步提高了生成规则和策略的可靠性。

关键设计：GAMA框架的关键设计包括：1) 使用LLM（如Claude 3.5 Sonnet和GPT-4o）作为规则生成的核心引擎。2) 设计基于求解器的语法验证方法，确保生成的逻辑程序的语法正确性。3) 采用迭代的、基于锦标赛的运行时验证程序，评估生成规则和策略的有效性。4) 在有真实结果可用时，进行精确的语义验证，确保生成规则和策略与真实情况相符。具体的参数设置和损失函数等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GAMA框架在自动形式化博弈论场景方面表现出色。使用Claude 3.5 Sonnet，GAMA实现了100%的语法正确性和76.5%的语义正确性。使用GPT-4o，GAMA实现了99.82%的语法正确性和77%的语义正确性。这些结果表明，GAMA框架可以有效地将自然语言描述的交互场景转化为可执行的逻辑程序，并具有较高的准确性和可靠性。

🎯 应用场景

GAMA框架可应用于各种多Agent仿真场景，例如社会行为建模、经济系统仿真、交通流量优化等。该框架可以帮助研究人员和开发者快速构建和测试各种交互场景，从而更好地理解和预测复杂系统的行为。此外，GAMA框架还可以用于教育领域，帮助学生学习和理解博弈论等概念。

📄 摘要（原文）

Multi-agent simulations are versatile tools for exploring interactions among natural and artificial agents, but their development typically demands domain expertise and manual effort. This work introduces the Generative Agents for Multi-Agent Autoformalization (GAMA) framework, which automates the formalization of interaction scenarios in simulations using agents augmented with large language models (LLMs). To demonstrate the application of GAMA, we use natural language descriptions of game-theoretic scenarios representing social interactions, and we autoformalize them into executable logic programs defining game rules, with syntactic correctness enforced through a solver-based validation. To ensure runtime validity, an iterative, tournament-based procedure tests the generated rules and strategies, followed by exact semantic validation when ground truth outcomes are available. In experiments with 110 natural language descriptions across five 2x2 simultaneous-move games, GAMA achieves 100% syntactic and 76.5% semantic correctness with Claude 3.5 Sonnet, and 99.82% syntactic and 77% semantic correctness with GPT-4o. The framework also shows high semantic accuracy in autoformalizing agents' strategies.