A Large-Scale Simulation on Large Language Models for Decision-Making in Political Science
作者: Chenxiao Yu, Jinyi Ye, Yuangang Li, Zheng Li, Emilio Ferrara, Xiyang Hu, Yue Zhao
分类: cs.CL, cs.SI
发布日期: 2024-12-19 (更新: 2025-04-10)
备注: arXiv admin note: substantial text overlap with arXiv:2411.03321 This version adds a new model to our experimental setup, modifies the paper's main discussion, and updates the authorship list
💡 一句话要点
提出基于大语言模型的多步推理框架，用于大规模模拟政治决策
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 政治模拟 选民决策 多步推理 合成数据
📋 核心要点
- 现有选民行为建模方法受限于选民数据稀缺、政治环境动态变化以及人类推理的复杂性。
- 论文提出一种理论驱动的多步推理框架，整合人口统计、时间及意识形态因素，模拟选民决策。
- 通过合成选民数据进行大规模美国总统选举模拟，显著提升了模拟精度并降低了模型偏差。
📝 摘要（中文）
尽管大语言模型（LLMs）在文本生成和推理方面表现出卓越的能力，但它们模拟人类决策（尤其是在政治背景下）的能力仍然是一个悬而未决的问题。由于选民层面数据的有限性、不断变化的政治格局以及人类推理的复杂性，选民行为建模面临着独特的挑战。本研究开发了一个理论驱动的多步推理框架，该框架整合了人口统计、时间和意识形态因素，以大规模模拟选民决策。通过使用根据真实选民数据校准的合成角色，我们对最近的美国总统选举进行了大规模模拟。我们的方法显著提高了模拟精度，同时减轻了模型偏差。我们通过比较不同LLM的性能来检验其稳健性。我们进一步研究了基于LLM的政治模拟所产生的挑战和约束。我们的工作为建模政治决策行为提供了一个可扩展的框架，并深入了解了在政治学研究中使用LLM的前景和局限性。
🔬 方法详解
问题定义：论文旨在解决政治科学中大规模模拟选民决策的难题。现有方法面临的痛点在于：一是缺乏足够细粒度的选民个体数据；二是政治环境的动态性和复杂性难以捕捉；三是人类决策过程中的复杂推理难以建模。这些因素导致现有方法在模拟选民行为时精度较低，且容易产生偏差。
核心思路：论文的核心思路是构建一个理论驱动的多步推理框架，该框架能够整合多种影响选民决策的关键因素，包括人口统计特征、时间因素（例如，选举周期）和意识形态偏好。通过将这些因素融入到LLM的推理过程中，可以更准确地模拟选民的决策过程。这种方法的核心在于利用LLM强大的推理能力，结合领域知识，从而克服传统方法的局限性。
技术框架：该框架包含以下主要模块：1) 合成选民角色生成：根据真实选民数据，生成具有不同人口统计特征和意识形态偏好的合成选民角色。2) 多步推理过程建模：将选民的决策过程分解为多个步骤，例如信息收集、候选人评估、投票意向形成等。每个步骤都由LLM进行推理，并考虑相关因素的影响。3) 选举模拟：利用生成的选民角色和多步推理过程，模拟选举结果。4) 模型评估与校准：将模拟结果与真实选举结果进行比较，评估模型的性能，并进行必要的校准。
关键创新：该论文最重要的技术创新点在于其理论驱动的多步推理框架。与以往直接使用LLM进行政治模拟的方法不同，该框架将领域知识融入到LLM的推理过程中，从而提高了模拟的精度和可解释性。此外，该框架还能够有效地减轻模型偏差，使其更加可靠。
关键设计：论文的关键设计包括：1) 合成选民角色的校准：使用真实选民数据对合成选民角色进行校准，确保其人口统计特征和意识形态偏好与真实选民分布一致。2) 多步推理过程的分解：将选民的决策过程分解为多个步骤，并为每个步骤设计相应的推理提示（prompt），引导LLM进行推理。3) 模型评估指标的选择：选择合适的评估指标，例如选举结果的准确率、选民投票意向的预测精度等，来评估模型的性能。
🖼️ 关键图片
📊 实验亮点
该研究通过大规模模拟美国总统选举，验证了所提出框架的有效性。实验结果表明，该方法显著提高了模拟精度，并减轻了模型偏差。具体而言，该方法在预测选举结果方面的准确率优于传统方法，并且能够更好地捕捉不同选民群体的投票意向。此外，研究还比较了不同LLM的性能，发现某些LLM在政治模拟方面表现更佳。
🎯 应用场景
该研究成果可应用于政治科学研究、选举预测、政策评估等领域。通过模拟选民行为，可以帮助政治学家更好地理解选民的决策过程，预测选举结果，评估政策的影响。此外，该方法还可以用于模拟其他类型的社会决策，例如消费者行为、公共卫生决策等，具有广泛的应用前景。
📄 摘要（原文）
While LLMs have demonstrated remarkable capabilities in text generation and reasoning, their ability to simulate human decision-making -- particularly in political contexts -- remains an open question. However, modeling voter behavior presents unique challenges due to limited voter-level data, evolving political landscapes, and the complexity of human reasoning. In this study, we develop a theory-driven, multi-step reasoning framework that integrates demographic, temporal and ideological factors to simulate voter decision-making at scale. Using synthetic personas calibrated to real-world voter data, we conduct large-scale simulations of recent U.S. presidential elections. Our method significantly improves simulation accuracy while mitigating model biases. We examine its robustness by comparing performance across different LLMs. We further investigate the challenges and constraints that arise from LLM-based political simulations. Our work provides both a scalable framework for modeling political decision-making behavior and insights into the promise and limitations of using LLMs in political science research.