Large Language Models for Behavioral Economics: Internal Validity and Elicitation of Mental Models

📄 arXiv: 2407.12032v1 📥 PDF

作者: Brian Jabarian

分类: cs.HC, cs.AI, econ.GN

发布日期: 2024-06-30

💡 一句话要点

利用大型语言模型提升行为经济学实验的内部效度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 行为经济学 实验经济学 内部效度 心理模型

📋 核心要点

  1. 行为经济学实验中，人为干预可能影响内部效度，尤其是在测量心理模型时，存在偏差风险。
  2. 论文提出利用LLM自动执行实验流程，减少人为干预，从而提高实验的客观性和内部效度。
  3. 案例研究表明，LLM能够改善实验设计，提升参与者互动，并增强心理模型测量的有效性。

📝 摘要（中文）

本文探讨了将生成式人工智能，特别是大型语言模型（LLM），集成到行为和实验经济学中以增强内部效度的变革潜力。通过利用AI工具，研究人员可以更好地遵守关键的排除限制，尤其是在确保心理模型的内部效度测量方面，而这通常需要在激励机制中进行人为干预。我们提出了一个案例研究，展示了LLM如何增强实验设计、参与者互动以及测量心理模型的有效性。

🔬 方法详解

问题定义：行为经济学和实验经济学研究中，心理模型的测量至关重要。然而，传统方法依赖于研究人员的直接干预，这可能引入主观偏差，影响实验的内部效度。尤其是在需要复杂的激励机制来引导参与者行为时，人为因素的干扰更加明显。现有方法难以保证实验结果的客观性和可靠性。

核心思路：本文的核心思路是利用大型语言模型（LLM）的生成能力和自动化特性，替代或辅助研究人员进行实验设计、参与者互动和数据收集。通过减少人为干预，降低主观偏差，从而提高实验的内部效度。LLM可以模拟人类行为，提供个性化的反馈，并自动记录实验数据，从而实现更客观的实验过程。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 实验设计阶段：利用LLM生成实验方案，包括实验流程、问题设置和激励机制。2) 参与者互动阶段：LLM作为实验引导者，与参与者进行对话，收集参与者的行为数据和心理模型信息。3) 数据分析阶段：利用LLM分析实验数据，评估心理模型的有效性，并提供实验结果的解释。整个流程旨在实现实验的自动化和客观化。

关键创新：该研究的关键创新在于将LLM应用于行为经济学实验，以提高内部效度。与传统方法相比，该方法减少了人为干预，降低了主观偏差，从而提高了实验结果的客观性和可靠性。此外，LLM的生成能力和自动化特性可以显著提高实验效率，降低实验成本。

关键设计：具体的技术细节包括：1) 使用特定的prompt工程技术来引导LLM生成高质量的实验方案和对话内容。2) 设计合适的激励机制，以确保参与者认真参与实验。3) 采用合适的评估指标来衡量心理模型的有效性。4) 对LLM的输出进行验证和校准，以确保实验结果的准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究通过案例研究展示了LLM在行为经济学实验中的应用潜力。实验结果表明，LLM能够有效改善实验设计，提升参与者互动，并增强心理模型测量的有效性。虽然论文没有提供具体的性能数据和对比基线，但其概念验证为未来研究提供了有价值的参考。

🎯 应用场景

该研究成果可广泛应用于行为经济学、心理学、社会学等领域，用于设计更客观、更高效的实验。通过利用LLM，研究人员可以更深入地了解人类行为的内在机制，为政策制定、市场营销和产品设计提供更可靠的依据。未来，该技术有望应用于在线实验、大规模调查和个性化推荐系统等领域。

📄 摘要（原文）

In this article, we explore the transformative potential of integrating generative AI, particularly Large Language Models (LLMs), into behavioral and experimental economics to enhance internal validity. By leveraging AI tools, researchers can improve adherence to key exclusion restrictions and in particular ensure the internal validity measures of mental models, which often require human intervention in the incentive mechanism. We present a case study demonstrating how LLMs can enhance experimental design, participant engagement, and the validity of measuring mental models.