What Makes LLM Agent Simulations Useful for Policy? Insights From an Iterative Design Engagement in Emergency Preparedness

📄 arXiv: 2509.21868v1 📥 PDF

作者: Yuxuan Li, Sauvik Das, Hirokazu Shirado

分类: cs.HC, cs.CL

发布日期: 2025-09-26

💡 一句话要点

利用LLM Agent模拟提升应急预案有效性：一项迭代设计实践

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 社会模拟 应急预案 政策制定 迭代设计

📋 核心要点

  1. 现有社会模拟在政策制定中的应用受限，缺乏有效工具模拟复杂人群行为，难以应对突发事件。
  2. 论文提出利用LLM Agent构建大规模社会模拟系统，模拟人群在紧急情况下的行为，为政策制定提供依据。
  3. 通过与应急预案团队的合作，验证了该方法在志愿者培训、疏散协议和基础设施规划方面的有效性。

📝 摘要（中文）

将大型语言模型（LLM）用作智能体进行社会模拟，以辅助政策制定，正受到越来越多的关注，但实际应用仍然有限。本文旨在探讨如何使LLM Agent模拟真正服务于政策制定。我们与一所大学的应急预案团队合作，进行了一项为期一年的迭代设计。经过多次迭代，我们开发了一个包含13000个LLM Agent的系统，用于模拟大规模聚集活动中，各种紧急情况下的群体移动和通信。这些模拟为实际的政策实施提供了信息，影响了志愿者培训、疏散协议和基础设施规划。通过分析这一过程，我们总结了三个设计启示：从可验证的场景开始，逐步建立信任；利用初步模拟来激发隐性知识；将模拟和政策制定视为共同演进的过程。这些启示强调了使LLM Agent模拟真正服务于政策制定的可行途径。

🔬 方法详解

问题定义：现有社会模拟方法难以准确模拟大规模人群在紧急情况下的复杂行为，无法有效支持应急预案的制定和优化。痛点在于缺乏能够捕捉个体差异、群体互动以及环境影响的建模方法。

核心思路：利用LLM Agent的涌现能力，将每个Agent视为具有独立思考和决策能力的个体，通过模拟大量Agent的交互，来模拟真实世界中人群的行为模式。这种方法能够更好地捕捉个体差异和群体动态，从而更准确地预测人群行为。

技术框架：该系统包含以下主要模块：1) LLM Agent生成模块：利用LLM生成具有不同背景、性格和行为模式的Agent。2) 环境建模模块：构建模拟环境，包括建筑物、道路、障碍物等。3) 行为模拟模块：模拟Agent在环境中的移动、通信和决策过程。4) 数据分析模块：分析模拟结果，提取人群行为特征和潜在风险点。整个流程是一个迭代设计过程，通过不断调整Agent的行为规则和环境参数，来提高模拟的准确性和可靠性。

关键创新：该研究的关键创新在于将LLM Agent应用于大规模社会模拟，并将其与实际的政策制定过程相结合。与传统的基于规则的Agent模拟方法相比，LLM Agent能够更好地捕捉个体差异和群体动态，从而更准确地预测人群行为。此外，该研究强调了模拟和政策制定之间的迭代关系，通过不断调整模拟参数和政策方案，来提高应急预案的有效性。

关键设计：Agent的行为规则基于LLM生成，并通过人工干预进行调整。环境建模采用GIS数据和CAD模型，以确保模拟环境的真实性。行为模拟采用基于Agent的建模方法，并考虑了Agent之间的通信和协作。数据分析采用统计分析和可视化技术，以提取人群行为特征和潜在风险点。

📊 实验亮点

该研究通过与大学应急预案团队的合作，验证了LLM Agent模拟在实际应用中的有效性。模拟结果直接影响了志愿者培训、疏散协议和基础设施规划的制定。例如，通过模拟发现，某些疏散路线存在拥堵风险，从而促使决策者调整了疏散方案。此外，该研究还发现，LLM Agent模拟可以帮助决策者更好地了解人群的隐性知识，从而制定更符合实际情况的政策。

🎯 应用场景

该研究成果可应用于各种应急预案的制定和优化，例如地震、火灾、恐怖袭击等。通过模拟不同场景下的人群行为，可以帮助决策者更好地了解潜在风险，并制定更有效的应对措施。此外，该方法还可以应用于城市规划、交通管理等领域，以提高城市的安全性和效率。未来，该技术有望成为智慧城市建设的重要组成部分。

📄 摘要（原文）

There is growing interest in using Large Language Models as agents (LLM agents) for social simulations to inform policy, yet real-world adoption remains limited. This paper addresses the question: How can LLM agent simulations be made genuinely useful for policy? We report on a year-long iterative design engagement with a university emergency preparedness team. Across multiple design iterations, we iteratively developed a system of 13,000 LLM agents that simulate crowd movement and communication during a large-scale gathering under various emergency scenarios. These simulations informed actual policy implementation, shaping volunteer training, evacuation protocols, and infrastructure planning. Analyzing this process, we identify three design implications: start with verifiable scenarios and build trust gradually, use preliminary simulations to elicit tacit knowledge, and treat simulation and policy development as evolving together. These implications highlight actionable pathways to making LLM agent simulations that are genuinely useful for policy.