Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys

📄 arXiv: 2405.19323v2 📥 PDF

作者: Mingmeng Geng, Sihong He, Roberto Trotta

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-05-29 (更新: 2024-10-21)

备注: 17 pages

💡 一句话要点

利用大型语言模型模拟社会调查，揭示文化、年龄和性别偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会调查 偏差分析 Jaccard相似性 提示工程

📋 核心要点

  1. 现有社会调查模拟方法缺乏灵活性，难以捕捉复杂社会现象中的细微差别和潜在偏见。
  2. 该研究利用大型语言模型模拟社会调查，通过分析LLM的回答来揭示潜在的文化、年龄和性别偏见。
  3. 实验表明，提示对LLM的偏差和变异性有重要影响，并提出了一种新的度量方法来评估LLM模拟的有效性。

📝 摘要（中文）

本文探讨了大型语言模型（LLM）是否能够模拟社会调查。通过数百万次的模拟，LLM被要求回答主观问题。将不同LLM的回答与欧洲社会调查（ESS）数据进行比较，结果表明提示对偏差和变异性的影响至关重要，并突出了主要的文化、年龄和性别偏见。此外，本文还讨论了用于衡量LLM答案与调查数据之间差异的统计方法，并提出了一种受Jaccard相似性启发的新的度量方法，因为LLM生成的响应可能具有较小的方差。实验结果还表明，在使用LLM模拟社会调查之前，分析提示的鲁棒性和变异性非常重要，因为它们的模仿能力充其量只是近似的。

🔬 方法详解

问题定义：本文旨在研究大型语言模型（LLM）在模拟社会调查中的能力。现有方法难以准确模拟人类受访者的主观回答，并且缺乏对LLM自身偏差的有效评估。因此，如何利用LLM进行有效的社会调查模拟，并量化和减轻其潜在偏差，是本文要解决的关键问题。

核心思路：本文的核心思路是利用LLM生成对社会调查问题的回答，然后将这些回答与真实社会调查数据进行比较，从而评估LLM的模拟能力和潜在偏差。通过分析不同提示对LLM回答的影响，可以深入了解LLM的文化、年龄和性别偏见。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 使用不同的提示向LLM提出社会调查问题；2) 收集LLM生成的回答；3) 将LLM的回答与欧洲社会调查（ESS）数据进行比较；4) 使用统计方法（包括提出的基于Jaccard相似性的新度量）来量化LLM回答与真实数据之间的差异；5) 分析提示的鲁棒性和变异性，评估LLM模拟的有效性。

关键创新：本文的关键创新在于：1) 利用LLM模拟社会调查，探索其在社会科学研究中的应用；2) 提出了一种基于Jaccard相似性的新度量方法，用于量化LLM回答与真实数据之间的差异，该方法更适用于LLM生成响应方差较小的情况；3) 强调了提示对LLM偏差和变异性的重要影响，并提出了分析提示鲁棒性的必要性。

关键设计：研究中使用了多种提示策略，以探索不同提示对LLM回答的影响。提出的基于Jaccard相似性的度量方法，旨在更准确地衡量LLM生成响应与真实数据之间的相似性，尤其是在LLM生成响应方差较小的情况下。此外，研究还关注了LLM的文化、年龄和性别偏见，并尝试通过调整提示来减轻这些偏见。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提示对LLM的偏差和变异性有显著影响，不同提示会导致LLM产生不同的回答分布。研究提出的基于Jaccard相似性的新度量方法，能够更准确地量化LLM回答与真实数据之间的差异。此外，实验还揭示了LLM中存在的文化、年龄和性别偏见，为进一步研究和减轻这些偏见提供了重要依据。

🎯 应用场景

该研究成果可应用于社会科学研究、公共政策制定和市场调研等领域。通过利用LLM模拟社会调查，可以更高效地收集和分析社会数据，从而为决策提供更全面的信息支持。此外，该研究还可以帮助识别和减轻LLM中的潜在偏见，提高AI系统的公平性和可靠性。

📄 摘要（原文）

Can large language models (LLMs) simulate social surveys? To answer this question, we conducted millions of simulations in which LLMs were asked to answer subjective questions. A comparison of different LLM responses with the European Social Survey (ESS) data suggests that the effect of prompts on bias and variability is fundamental, highlighting major cultural, age, and gender biases. We further discussed statistical methods for measuring the difference between LLM answers and survey data and proposed a novel measure inspired by Jaccard similarity, as LLM-generated responses are likely to have a smaller variance. Our experiments also reveal that it is important to analyze the robustness and variability of prompts before using LLMs to simulate social surveys, as their imitation abilities are approximate at best.