Simulating Field Experiments with Large Language Models

📄 arXiv: 2408.09682v1 📥 PDF

作者: Yaoyu Chen, Yuheng Hu, Yingda Lu

分类: cs.AI

发布日期: 2024-08-19

备注: 17 pages, 5 figures, 6 tables

💡 一句话要点

提出两种提示策略，利用大语言模型模拟社会科学领域实验，扩展LLM应用场景。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 田野实验 模拟 提示工程 社会科学

📋 核心要点

  1. 现有方法难以在田野实验中进行大规模、低成本的预实验，阻碍了研究效率。
  2. 提出观察者和参与者两种提示策略，利用LLM模拟实验结果和参与者反应。
  3. 实验表明，LLM在特定场景下能有效模拟田野实验结果，但对性别差异等问题表现欠佳。

📝 摘要（中文）

本文探讨了如何利用大型语言模型（LLM）模拟社会科学领域的田野实验。鉴于LLM在内容生成和推理方面表现出的强大能力，论文提出了两种提示策略：观察者模式，直接预测实验结论；参与者模式，模拟参与者的响应分布。通过这两种方法，论文评估了INFORMS和MISQ上发表的15篇被广泛引用的田野实验论文，发现在某些情况下，模拟实验结果与实际结果具有良好的一致性。论文还识别出LLM表现不佳的主题，包括性别差异和社会规范相关的研究。此外，论文提出的自动化和标准化工作流程使得大规模筛选更多田野实验论文成为可能。该研究开创性地利用LLM模拟田野实验，显著扩展了先前仅关注实验室环境的工作。研究结果表明，观察者模式下，LLM的模拟准确率达到66%。

🔬 方法详解

问题定义：论文旨在解决利用大型语言模型（LLM）模拟田野实验的问题。现有方法主要集中在实验室环境，缺乏对复杂田野环境的模拟能力。此外，传统田野实验成本高昂、耗时较长，难以进行大规模的预实验，从而限制了研究的探索和验证效率。

核心思路：论文的核心思路是利用LLM强大的内容生成和推理能力，通过精心设计的提示策略，使LLM能够模拟实验结果和参与者的反应。通过对比模拟结果与实际实验结果，评估LLM在田野实验模拟中的有效性和局限性。这种方法旨在降低实验成本，加速研究进程。

技术框架：论文提出了两种主要的提示策略：观察者模式和参与者模式。观察者模式直接向LLM提问，预测实验的主要结论。参与者模式则模拟实验参与者的反应分布，让LLM扮演参与者的角色，生成相应的回答。整个流程包括：选择田野实验论文、设计提示语、运行LLM、收集模拟结果、对比模拟结果与实际结果、分析LLM的性能。

关键创新：该研究的关键创新在于将LLM应用于田野实验的模拟，并提出了两种不同的提示策略。与以往仅关注实验室环境的模拟研究不同，该研究关注更复杂、更真实的田野环境。此外，论文还提出了一个自动化和标准化的工作流程，使得大规模筛选更多田野实验论文成为可能。

关键设计：在观察者模式中，提示语的设计需要准确概括实验背景和研究问题，以便LLM能够理解并做出预测。在参与者模式中，提示语的设计需要模拟实验情境，并引导LLM扮演参与者的角色。论文使用了GPT-3等大型语言模型，并根据实验的具体情况调整了提示语的细节。此外，论文还使用了准确率等指标来评估LLM的模拟性能。

📊 实验亮点

研究结果表明，在观察者模式下，LLM对田野实验结果的模拟准确率达到66%。这表明LLM在一定程度上能够预测田野实验的结论。然而，LLM在模拟涉及性别差异和社会规范的研究时表现不佳，这提示研究人员在使用LLM进行田野实验模拟时需要注意其局限性。

🎯 应用场景

该研究成果可应用于社会科学、市场营销、行为经济学等领域。研究人员可以利用LLM在实际田野实验前进行初步验证，降低实验风险和成本。此外，该方法还可以用于快速评估不同干预措施的效果，为政策制定提供参考。未来，可以进一步探索LLM在更复杂田野实验中的应用，例如涉及多因素交互作用的实验。

📄 摘要（原文）

Prevailing large language models (LLMs) are capable of human responses simulation through its unprecedented content generation and reasoning abilities. However, it is not clear whether and how to leverage LLMs to simulate field experiments. In this paper, we propose and evaluate two prompting strategies: the observer mode that allows a direct prediction on main conclusions and the participant mode that simulates distributions of responses from participants. Using this approach, we examine fifteen well cited field experimental papers published in INFORMS and MISQ, finding encouraging alignments between simulated experimental results and the actual results in certain scenarios. We further identify topics of which LLMs underperform, including gender difference and social norms related research. Additionally, the automatic and standardized workflow proposed in this paper enables the possibility of a large-scale screening of more papers with field experiments. This paper pioneers the utilization of large language models (LLMs) for simulating field experiments, presenting a significant extension to previous work which focused solely on lab environments. By introducing two novel prompting strategies, observer and participant modes, we demonstrate the ability of LLMs to both predict outcomes and replicate participant responses within complex field settings. Our findings indicate a promising alignment with actual experimental results in certain scenarios, achieving a stimulation accuracy of 66% in observer mode. This study expands the scope of potential applications for LLMs and illustrates their utility in assisting researchers prior to engaging in expensive field experiments. Moreover, it sheds light on the boundaries of LLMs when used in simulating field experiments, serving as a cautionary note for researchers considering the integration of LLMs into their experimental toolkit.