OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents
作者: Yuwei Yan, Qingbin Zeng, Zhiheng Zheng, Jingzhe Yuan, Jie Feng, Jun Zhang, Fengli Xu, Yong Li
分类: cs.MA, cs.AI
发布日期: 2024-10-11
💡 一句话要点
OpenCity：一个可扩展的平台，用大规模LLM智能体模拟城市活动
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市模拟 LLM智能体 可扩展平台 提示优化 请求调度
📋 核心要点
- 现有基于LLM的城市活动模拟面临LLM计算成本过高的问题，限制了模拟规模和效率。
- OpenCity通过LLM请求调度器和“分组和提炼”提示优化策略，提升系统和提示效率，降低计算成本。
- 实验表明，OpenCity实现了600倍的加速，请求减少70%，token使用减少50%，并建立了城市模拟基准。
📝 摘要（中文）
基于智能体的模型(ABM)长期以来被用于探索个体行为如何在城市空间中聚合成复杂的社会现象。与黑盒预测模型不同，ABM擅长解释驱动这些涌现行为的微观-宏观联系。最近大型语言模型(LLM)的兴起，促使了LLM智能体的开发，能够以前所未有的真实感模拟城市活动。然而，LLM极高的计算成本给LLM智能体的大规模模拟带来了重大挑战。为了解决这个问题，我们提出了OpenCity，一个为系统和提示效率优化的可扩展模拟平台。具体来说，我们提出了一个LLM请求调度器，通过IO多路复用并行化请求，从而减少通信开销。此外，我们设计了一种“分组和提炼”的提示优化策略，通过聚类具有相似静态属性的智能体来最小化冗余。通过在六个全球城市进行的实验，OpenCity实现了每个智能体模拟时间600倍的加速，LLM请求减少了70%，token使用量减少了50%。这些改进使得在普通硬件上1小时内模拟10,000个智能体的日常活动成为可能。此外，OpenCity的显著加速使我们首次建立了一个LLM智能体的城市模拟基准，比较了全球6个主要城市中模拟的城市活动与真实世界的数据。我们相信我们的OpenCity平台提供了一个关键的基础设施，以利用LLM的力量进行城市空间中的跨学科研究，促进更广泛研究社区的集体努力。
🔬 方法详解
问题定义：论文旨在解决大规模城市活动模拟中，由于LLM计算成本过高而导致的模拟效率低下和规模受限的问题。现有方法难以在可接受的时间内模拟大量智能体的行为，阻碍了城市规划、政策制定等领域的研究。
核心思路：论文的核心思路是通过优化LLM请求调度和提示设计，降低LLM的调用次数和每次调用的token数量，从而显著降低计算成本，提高模拟效率。具体来说，通过并行化请求减少通信开销，通过对相似智能体进行分组并提炼提示，减少冗余。
技术框架：OpenCity平台包含以下主要模块：1) LLM请求调度器：负责并行化LLM请求，提高IO效率；2) 智能体分组模块：根据智能体的静态属性进行聚类；3) 提示提炼模块：为每个组生成精简的提示，减少冗余信息；4) 模拟执行引擎：负责驱动智能体的行为模拟，并与LLM交互。
关键创新：论文的关键创新在于“分组和提炼”的提示优化策略。该策略通过对具有相似静态属性的智能体进行分组，并为每个组生成精简的提示，避免了为每个智能体单独生成提示的冗余，显著减少了LLM的token使用量。
关键设计：LLM请求调度器采用IO多路复用技术，允许同时处理多个LLM请求，减少了等待时间。智能体分组采用K-means等聚类算法，根据智能体的年龄、职业、收入等静态属性进行聚类。提示提炼模块使用自然语言处理技术，从多个智能体的属性中提取共性信息，生成简洁明了的提示。
🖼️ 关键图片
📊 实验亮点
OpenCity在六个全球城市的实验中取得了显著成果：每个智能体的模拟时间加速了600倍，LLM请求减少了70%，token使用量减少了50%。该平台能够在普通硬件上，1小时内模拟10,000个智能体的日常活动。此外，该研究首次建立了LLM智能体的城市模拟基准，为后续研究提供了参考。
🎯 应用场景
OpenCity平台可应用于城市规划、交通管理、公共卫生、应急响应等领域。通过模拟不同政策或事件对城市活动的影响，帮助决策者制定更科学合理的方案。该平台还可用于研究社会行为、人群流动等复杂现象，为社会科学研究提供新的工具和视角。
📄 摘要（原文）
Agent-based models (ABMs) have long been employed to explore how individual behaviors aggregate into complex societal phenomena in urban space. Unlike black-box predictive models, ABMs excel at explaining the micro-macro linkages that drive such emergent behaviors. The recent rise of Large Language Models (LLMs) has led to the development of LLM agents capable of simulating urban activities with unprecedented realism. However, the extreme high computational cost of LLMs presents significant challenges for scaling up the simulations of LLM agents. To address this problem, we propose OpenCity, a scalable simulation platform optimized for both system and prompt efficiencies. Specifically, we propose a LLM request scheduler to reduce communication overhead by parallelizing requests through IO multiplexing. Besides, we deisgn a "group-and-distill" prompt optimization strategy minimizes redundancy by clustering agents with similar static attributes. Through experiments on six global cities, OpenCity achieves a 600-fold acceleration in simulation time per agent, a 70% reduction in LLM requests, and a 50% reduction in token usage. These improvements enable the simulation of 10,000 agents' daily activities in 1 hour on commodity hardware. Besides, the substantial speedup of OpenCity allows us to establish a urban simulation benchmark for LLM agents for the first time, comparing simulated urban activities with real-world data in 6 major cities around the globe. We believe our OpenCity platform provides a critical infrastructure to harness the power of LLMs for interdisciplinary studies in urban space, fostering the collective efforts of broader research communities. Code repo is available at https://anonymous.4open.science/r/Anonymous-OpenCity-42BD.