LLMs as survey respondents: Comparison to simple semantic baselines

📄 arXiv: 2610.29645v1 📥 PDF

作者: Esko Lehtonen, Tommi Buder-Gröndahl

分类: cs.CL

发布日期: 2026-10-21

备注: 16 pages, 5 figures

💡 一句话要点

利用大型语言模型提升问卷调查响应的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 问卷调查 数据增强 语义相似性 机器学习

📋 核心要点

  1. 现有方法在利用LLMs进行问卷调查响应时，缺乏对语义相似性对答案相关性的深入理解。
  2. 论文提出通过评估LLMs在不同已知响应比例下的预测能力，探索其在数据增强中的应用潜力。
  3. 实验结果表明，LLMs在大多数情况下优于简单的嵌入相似性基线，但在已知响应较少时性能显著下降。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）作为人类问卷调查响应者的替代方案。研究表明，LLMs在数据增强方面具有潜力，能够根据部分已知响应预测新的回答。然而，问卷项目之间的语义相似性可能导致答案之间的相关性，因此尚不清楚LLMs是否真正推断了问题与响应之间的有意义关系。通过评估三种LLMs在两项关于自动化或轻电动车态度的调查中对未持有项目的响应预测能力，结果显示LLMs在大多数情况下优于基线方法，但在已知响应较少时性能下降，甚至在一项调查中与基线持平。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在问卷调查响应预测中的有效性问题，尤其是在已知响应较少时的表现不足。现有方法未能充分考虑问卷项目之间的语义相似性对答案相关性的影响。

核心思路：论文的核心思路是评估LLMs在不同已知响应比例下的预测能力，以判断其是否能够推断出有意义的问答关系，而不仅仅是依赖表面相似性。

技术框架：研究采用了三种不同的LLMs，并将其预测结果与两个基线方法进行比较。基线方法通过最大化与先前响应的嵌入相似性来生成新响应。

关键创新：本研究的创新点在于系统性地比较LLMs与简单的嵌入相似性基线在问卷响应预测中的表现，揭示了LLMs在数据增强中的潜力及其局限性。

关键设计：实验中设置了不同的已知响应比例，并使用了多种评估指标来比较LLMs与基线的预测性能，确保了结果的可靠性和有效性。

📊 实验亮点

实验结果显示，LLMs在大多数情况下的预测性能优于基线方法，但在已知响应比例较低时，其性能显著下降，甚至在一项调查中与基线持平。这表明LLMs的增强能力受限于可用数据的数量，强调了数据质量的重要性。

🎯 应用场景

该研究的潜在应用领域包括市场调查、用户反馈收集以及社会科学研究等。通过利用LLMs进行数据增强，可以提高问卷调查的响应质量和效率，进而为决策提供更为准确的依据。未来，随着LLMs技术的不断进步，其在各类调查研究中的应用前景将更加广泛。

📄 摘要（原文）

Large language models (LLMs) have been explored as surrogates for human survey respondents. A more promising application is data augmentation, where LLMs predict new responses from partial human data. However, the semantic similarity between questionnaire items is a known source of correlation between answers. It is thus unclear whether LLMs actually infer meaningful relationships between question-response pairs, or use surface-level comparison between questions as a heuristic. To assess this, we evaluated how three LLMs can predict responses to held-out items in two surveys measuring attitudes toward automated or light-electric vehicles, based on varying proportions of known responses. Performance was compared to two baselines, where new responses were derived by maximizing embedding-similarity to a prior response. While LLMs mostly predicted human responses better than baselines, their performance consistently declined with a lower share of known responses, even aligning with the baseline in one survey. Our results show that LLMs' capacities for augmenting replies varied across surveys, and can revert to the same levels as simpler embedding similarity baselines when less data is available.