Silicon Samples Match the Answers but Not the Respondents

📄 arXiv: 2610.30900v1 📥 PDF

作者: Yusuke Kumagae, Masahiro Kaneko

分类: cs.CL, cs.CY

发布日期: 2026-10-22

💡 一句话要点

提出响应者覆盖差距以评估合成样本的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成样本 大型语言模型 响应者覆盖差距 社会调查 数据评估

📋 核心要点

  1. 现有的合成样本生成方法未能有效比较生成的受访者与真实受访者之间的差异，导致评估结果可能误导。
  2. 论文提出响应者覆盖差距（RCG）作为新的评估指标，旨在量化生成受访者与真实受访者之间的距离。
  3. 实验结果表明，所有评估的LLM在RCG指标上均未能覆盖人类受访者，且表现低于基线方法。

📝 摘要（中文）

硅采样通过让大型语言模型（LLM）以特定人口属性回答调查，生成合成受访者，这些合成样本越来越多地取代人类样本。现有评估主要关注单个答案的准确性、每个问题的答案分布及问题间的相关性，但未比较受访者本身。本文提出响应者覆盖差距（RCG），将每个受访者视为由其完整答案轮廓定义的点，并测量每个人类受访者与最近生成受访者之间的距离。通过对两项美国社会调查的分析，发现所有评估的六个LLM均未覆盖人类受访者，且在主要设置下，它们的表现不及独立从人类边际分布中采样的基线方法。

🔬 方法详解

问题定义：本文旨在解决合成样本生成中，现有评估方法未能有效比较生成受访者与真实受访者之间的差异这一问题。现有方法主要关注答案的准确性和分布，但忽视了受访者本身的多样性和覆盖情况。

核心思路：论文提出响应者覆盖差距（RCG）作为新的评估指标，通过将每个受访者视为其答案轮廓的点，量化人类受访者与生成受访者之间的距离，从而更全面地评估合成样本的有效性。

技术框架：研究首先定义了RCG指标，然后在两项美国社会调查中对六个LLM进行评估，比较其生成的受访者与真实受访者的覆盖情况。

关键创新：最重要的创新在于引入RCG指标，能够揭示生成受访者的多样性不足问题，与现有方法相比，提供了更深入的评估视角。

关键设计：在实验中，采用了多种提示和推理设置，评估不同LLM的表现，并与基线方法进行对比，确保了结果的可靠性和有效性。实验中还使用了高斯copula模型作为对比基线。

📊 实验亮点

实验结果显示，所有评估的六个LLM在响应者覆盖差距（RCG）指标上均未能覆盖人类受访者，且在主要设置下，其表现低于独立从人类边际分布中采样的基线方法。这表明，现有的合成样本生成方法在捕捉真实受访者的多样性方面存在显著不足。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、市场调查和政策制定等。通过更准确地评估合成样本的有效性，研究可以帮助决策者更好地理解公众意见和行为，从而制定更有效的政策和策略。未来，随着合成样本技术的发展，RCG指标可能成为评估合成数据质量的标准工具。

📄 摘要（原文）

Silicon sampling generates survey respondents by having a large language model (LLM) answer a survey as a person with given demographic attributes, and the resulting synthetic populations are increasingly used in place of human ones. Existing evaluations focus on individual-answer accuracy, per-question answer distributions, and correlations across questions. None of these compares the respondents themselves, so a generator whose respondents have combinations of answers found in no human respondent can still score well if it reproduces every answer distribution. We propose the respondent coverage gap (RCG), which represents each respondent as a point defined by their complete answer profile and measures how far each human respondent is from the nearest generated one, relative to the distance between human samples. On two US social surveys, all six LLMs we evaluate leave human respondents uncovered, and under our main settings, they fall behind a baseline that samples each answer independently from the human marginals. Across the prompting and inference settings we test, every LLM has a higher RCG than a Gaussian copula fitted to the human data.