LLM-Based Multi-Agent Systems are Scalable Graph Generative Models

📄 arXiv: 2410.09824v6 📥 PDF

作者: Jiarui Ji, Runlin Lei, Jialing Bi, Zhewei Wei, Xu Chen, Yankai Lin, Xuchen Pan, Yaliang Li, Bolin Ding

分类: cs.CL

发布日期: 2024-10-13 (更新: 2025-01-06)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GraphAgent-Generator，利用LLM零样本生成大规模、符合真实社会属性的动态图。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图生成 大型语言模型 多智能体系统 社交网络 零样本学习

📋 核心要点

  1. 现有网络动态建模方法依赖于缺乏真实性和泛化性的规则模型，或需要大规模训练数据集的深度学习模型。
  2. GAG利用LLM中蕴含的社会共识知识，通过模拟人类-物品交互，实现动态社交图的零样本生成。
  3. 实验表明，GAG生成的图在宏观和微观层面均符合真实社交网络的属性，并在节点分类任务中表现出色。

📝 摘要（中文）

本文提出GraphAgent-Generator (GAG)，一个基于模拟的框架，用于动态、文本属性的社交图零样本生成。GAG利用大型语言模型(LLM)中预训练的社会共识知识，模拟时间节点和边的生成过程。生成的图在七个关键宏观网络属性上表现出良好的一致性，并在微观图结构指标上实现了11%的改进。通过节点分类基准测试，验证了GAG有效地捕捉了图生成中复杂的文本-结构相关性。此外，GAG支持通过基于LLM的大规模代理模拟和并行加速生成高达近10万个节点或1000万条边的图，实现了至少90.4%的加速。

🔬 方法详解

问题定义：现有社交图生成方法要么依赖于人工规则，缺乏真实性和泛化能力；要么依赖于深度学习模型，需要大量训练数据。这些方法难以捕捉真实社交网络动态演化的复杂性，并且可扩展性有限。

核心思路：利用大型语言模型（LLM）中预训练的社会共识知识，将图生成过程建模为多个智能体（Agent）之间的交互。每个Agent代表一个节点，通过模拟节点之间的交互行为（例如，关注、评论、分享等）来动态生成图的结构和属性。这种方法无需训练数据，并且能够利用LLM的知识来生成更符合真实社会属性的图。

技术框架：GAG框架包含以下几个主要模块：1) Agent初始化：为每个节点创建一个Agent，并赋予其初始属性（例如，兴趣、背景等）。2) 交互模拟：Agent之间根据LLM的提示进行交互，生成新的节点和边。LLM根据当前图的状态和Agent的属性，生成交互行为的文本描述。3) 图更新：根据Agent的交互行为，更新图的结构和属性。例如，如果两个Agent相互关注，则在它们之间添加一条边。4) 并行加速：为了支持大规模图的生成，GAG采用并行加速技术，将Agent的交互模拟分配到多个GPU上进行。

关键创新：GAG的关键创新在于利用LLM进行零样本的社交图生成。与传统的图生成方法相比，GAG无需训练数据，并且能够利用LLM的知识来生成更符合真实社会属性的图。此外，GAG还采用了并行加速技术，支持大规模图的生成。

关键设计：GAG的关键设计包括：1) LLM提示设计：设计合适的LLM提示，引导LLM生成符合真实社会属性的交互行为。2) Agent属性设计：设计合适的Agent属性，模拟真实用户的行为模式。3) 并行加速策略：设计高效的并行加速策略，充分利用GPU资源。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAG生成的图在七个关键宏观网络属性上表现出良好的一致性，并在微观图结构指标上实现了11%的改进。在节点分类任务中，GAG生成的图也取得了良好的性能，验证了GAG有效地捕捉了图生成中复杂的文本-结构相关性。此外，GAG通过并行加速，实现了至少90.4%的加速，支持生成高达近10万个节点或1000万条边的图。

🎯 应用场景

GAG可应用于社交网络分析、推荐系统、网络安全等领域。例如，可以利用GAG生成大规模的社交网络，用于评估推荐算法的性能；也可以利用GAG模拟恶意用户的行为，用于检测网络攻击。此外，GAG还可以用于生成知识图谱，支持问答系统和知识推理。

📄 摘要（原文）

The structural properties of naturally arising social graphs are extensively studied to understand their evolution. Prior approaches for modeling network dynamics typically rely on rule-based models, which lack realism and generalizability, or deep learning-based models, which require large-scale training datasets. Social graphs, as abstract graph representations of entity-wise interactions, present an opportunity to explore network evolution mechanisms through realistic simulations of human-item interactions. Leveraging the pre-trained social consensus knowledge embedded in large language models (LLMs), we present GraphAgent-Generator (GAG), a novel simulation-based framework for dynamic, text-attributed social graph generation. GAG simulates the temporal node and edge generation processes for zero-shot social graph generation. The resulting graphs exhibit adherence to seven key macroscopic network properties, achieving an 11% improvement in microscopic graph structure metrics. Through the node classification benchmarking task, we validate GAG effectively captures the intricate text-structure correlations in graph generation. Furthermore, GAG supports generating graphs with up to nearly 100,000 nodes or 10 million edges through large-scale LLM-based agent simulation with parallel acceleration, achieving a minimum speed-up of 90.4%. The source code is available at https://github.com/Ji-Cather/GraphAgent.