Llms, Virtual Users, and Bias: Predicting Any Survey Question Without Human Data

📄 arXiv: 2503.16498v1 📥 PDF

作者: Enzo Sinacola, Arnault Pachot, Thierry Petit

分类: cs.HC, cs.AI, cs.CL, cs.CY, cs.LG

发布日期: 2025-03-11

备注: Accepted, proceedings of the 17th International Conference on Machine Learning and Computing

💡 一句话要点

利用LLM生成虚拟用户预测调查结果，无需人工数据，但存在偏见问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚拟用户 民意调查 偏差分析 社会科学

📋 核心要点

  1. 传统调查方法成本高昂且效率较低，需要寻找更高效的替代方案。
  2. 利用LLM生成虚拟用户回答调查问题，无需额外训练数据即可预测调查结果。
  3. 实验表明LLM在总体上表现出竞争力，但存在对特定群体预测的偏差问题，移除审查机制可提高准确性。

📝 摘要（中文）

本研究探索了使用大型语言模型（LLM）替代传统调查方法，以提高效率并降低成本。我们利用LLM创建虚拟人群来回答调查问题，从而预测与人类反馈相当的结果。我们评估了多个LLM，包括GPT-4o、GPT-3.5、Claude 3.5-Sonnet以及Llama和Mistral模型的多个版本，并将它们的性能与使用世界价值观调查（WVS）人口统计数据的传统随机森林算法进行了比较。总体而言，LLM表现出具有竞争力的性能，并且具有无需额外训练数据的显著优势。然而，在预测某些宗教和人口群体的反应时，LLM表现出偏差，在这些领域表现不佳。另一方面，当使用足够的数据进行训练时，随机森林的表现优于LLM。我们观察到，移除LLM中的审查机制可以显著提高预测准确性，尤其是在审查模型难以处理的代表性不足的人口群体中。这些发现强调了解决LLM中的偏差并重新考虑审查方法的重要性，以提高其在民意调查研究中的可靠性和公平性。

🔬 方法详解

问题定义：论文旨在解决传统调查方法成本高、效率低的问题，探索利用LLM生成虚拟用户来预测调查结果，从而降低成本并提高效率。现有方法的痛点在于需要大量的人工数据，且数据收集过程耗时耗力。

核心思路：核心思路是利用LLM强大的生成能力，模拟不同人口统计特征的虚拟用户，并让这些虚拟用户回答调查问卷。通过分析虚拟用户的回答，预测真实人群的调查结果。这种方法的核心在于利用LLM的知识和推理能力，无需额外的人工标注数据。

技术框架：整体框架包括以下几个主要步骤：1) 选择合适的LLM模型（如GPT-4o, GPT-3.5, Claude 3.5-Sonnet, Llama, Mistral等）；2) 根据世界价值观调查（WVS）的人口统计数据，构建虚拟用户；3) 将调查问题输入LLM，让虚拟用户回答；4) 分析LLM的回答，预测真实人群的调查结果；5) 将LLM的预测结果与随机森林等传统方法的预测结果进行比较，评估LLM的性能。

关键创新：最重要的技术创新点在于利用LLM直接生成虚拟用户并预测调查结果，无需额外的人工标注数据。与现有方法相比，该方法极大地降低了数据收集和标注的成本。此外，论文还发现移除LLM的审查机制可以提高预测准确性，尤其是在代表性不足的人口群体中。

关键设计：论文的关键设计包括：1) 选择了多个不同的LLM模型进行比较，以评估不同模型的性能；2) 使用世界价值观调查（WVS）的人口统计数据，确保虚拟用户具有一定的代表性；3) 评估了移除LLM审查机制对预测准确性的影响；4) 将LLM的预测结果与随机森林等传统方法的预测结果进行比较，以评估LLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在总体上表现出与传统随机森林算法相当的性能，且无需额外训练数据。然而，LLM在预测特定宗教和人口群体的反应时存在偏差。移除LLM的审查机制可以显著提高预测准确性，尤其是在代表性不足的人口群体中。随机森林在有充足数据训练的情况下，表现优于LLM。

🎯 应用场景

该研究成果可应用于民意调查、市场调研、社会科学研究等领域。通过利用LLM生成虚拟用户，可以快速、低成本地获取调查数据，辅助决策制定。未来，该技术有望应用于更广泛的社会行为预测和模拟，例如预测选举结果、评估政策影响等。

📄 摘要（原文）

Large Language Models (LLMs) offer a promising alternative to traditional survey methods, potentially enhancing efficiency and reducing costs. In this study, we use LLMs to create virtual populations that answer survey questions, enabling us to predict outcomes comparable to human responses. We evaluate several LLMs-including GPT-4o, GPT-3.5, Claude 3.5-Sonnet, and versions of the Llama and Mistral models-comparing their performance to that of a traditional Random Forests algorithm using demographic data from the World Values Survey (WVS). LLMs demonstrate competitive performance overall, with the significant advantage of requiring no additional training data. However, they exhibit biases when predicting responses for certain religious and population groups, underperforming in these areas. On the other hand, Random Forests demonstrate stronger performance than LLMs when trained with sufficient data. We observe that removing censorship mechanisms from LLMs significantly improves predictive accuracy, particularly for underrepresented demographic segments where censored models struggle. These findings highlight the importance of addressing biases and reconsidering censorship approaches in LLMs to enhance their reliability and fairness in public opinion research.