What Makes LLM Agent Simulations Useful for Policy? Insights From an Iterative Design Engagement in Emergency Preparedness

📄 arXiv: 2509.21868v1 📥 PDF

作者: Yuxuan Li, Sauvik Das, Hirokazu Shirado

分类: cs.HC, cs.CL

发布日期: 2025-09-26

💡 一句话要点

利用LLM Agent模拟提升应急预案有效性：一个迭代设计案例研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 社会模拟 应急预案 政策制定 迭代设计

📋 核心要点

  1. 现有社会模拟方法难以捕捉人群在紧急情况下的复杂行为和动态交互，限制了其在政策制定中的应用。
  2. 利用LLM Agent模拟人群行为，通过迭代设计，逐步构建可信赖的模拟系统，辅助应急预案的制定和优化。
  3. 通过实际案例研究，验证了LLM Agent模拟在志愿者培训、疏散协议和基础设施规划等方面的有效性，并总结了设计启示。

📝 摘要（中文）

将大型语言模型（LLM）用作智能体进行社会模拟，以辅助政策制定，正引起越来越多的关注，但实际应用仍然有限。本文旨在探讨：如何使LLM Agent模拟真正对政策制定有用？我们报告了一项与大学应急预案团队为期一年的迭代设计合作。经过多次迭代，我们开发了一个包含13000个LLM Agent的系统，用于模拟大规模聚集期间各种紧急情况下的群体移动和通信。这些模拟为实际的政策实施提供了信息，影响了志愿者培训、疏散协议和基础设施规划。通过分析这一过程，我们总结了三个设计启示：从可验证的场景开始，逐步建立信任；利用初步模拟来激发隐性知识；将模拟和政策制定视为共同演进的过程。这些启示强调了使LLM Agent模拟真正对政策有用的可行途径。

🔬 方法详解

问题定义：论文旨在解决如何使LLM Agent模拟真正服务于政策制定的问题。现有方法难以模拟大规模人群在紧急情况下的复杂行为，并且缺乏与实际政策制定者的有效互动，导致模拟结果难以落地应用。

核心思路：论文的核心思路是通过与领域专家（大学应急预案团队）进行长期的迭代设计合作，逐步构建可信赖的LLM Agent模拟系统。通过实际应用场景驱动，不断验证和改进模拟结果，最终实现对政策制定的有效支持。

技术框架：整体框架包含以下几个主要阶段：1) 需求分析：与应急预案团队合作，确定需要模拟的具体场景和人群行为。2) LLM Agent构建：设计和实现13000个LLM Agent，赋予其在紧急情况下进行移动和通信的能力。3) 模拟运行：在不同的紧急场景下运行模拟，观察人群行为和通信模式。4) 结果验证：与应急预案团队共同评估模拟结果的合理性和有效性。5) 迭代改进：根据评估结果，调整LLM Agent的行为模型和模拟参数，进行下一轮模拟。

关键创新：论文的关键创新在于将LLM Agent模拟与实际政策制定过程紧密结合，通过迭代设计的方式，逐步建立用户信任，并利用初步模拟结果激发领域专家的隐性知识。这种以用户为中心的设计方法，使得模拟结果更贴近实际，更易于被政策制定者接受和应用。

关键设计：论文的关键设计包括：1) LLM Agent的行为模型：如何设计LLM Agent的行为规则，使其能够合理地模拟人群在紧急情况下的移动和通信行为。2) 场景参数设置：如何设置不同的紧急场景参数，例如火灾位置、疏散路线等，以模拟不同的紧急情况。3) 结果评估指标：如何定义和计算模拟结果的评估指标，例如疏散时间、拥堵程度等，以评估模拟结果的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过与大学应急预案团队的实际合作，验证了LLM Agent模拟在政策制定中的有效性。模拟结果直接影响了志愿者培训、疏散协议和基础设施规划等方面的决策。例如，通过模拟发现现有疏散路线存在拥堵风险，促使团队重新规划疏散路线，提高了疏散效率。

🎯 应用场景

该研究成果可应用于各种应急预案的制定和优化，例如自然灾害、恐怖袭击、大型活动等。通过LLM Agent模拟，可以预测人群行为，评估疏散方案的有效性，优化资源配置，提高应急响应效率，从而减少人员伤亡和财产损失。未来，该技术还可以扩展到其他社会模拟领域，例如交通规划、城市管理等。

📄 摘要（原文）

There is growing interest in using Large Language Models as agents (LLM agents) for social simulations to inform policy, yet real-world adoption remains limited. This paper addresses the question: How can LLM agent simulations be made genuinely useful for policy? We report on a year-long iterative design engagement with a university emergency preparedness team. Across multiple design iterations, we iteratively developed a system of 13,000 LLM agents that simulate crowd movement and communication during a large-scale gathering under various emergency scenarios. These simulations informed actual policy implementation, shaping volunteer training, evacuation protocols, and infrastructure planning. Analyzing this process, we identify three design implications: start with verifiable scenarios and build trust gradually, use preliminary simulations to elicit tacit knowledge, and treat simulation and policy development as evolving together. These implications highlight actionable pathways to making LLM agent simulations that are genuinely useful for policy.