AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers
作者: Alexander Wuttke, Matthias Aßenmacher, Christopher Klamm, Max M. Lang, Quirin Würschinger, Frauke Kreuter
分类: cs.HC, cs.AI, cs.CL
发布日期: 2024-09-16 (更新: 2025-03-12)
期刊: LaTeCH-CLfL2025
💡 一句话要点
利用LLM构建AI对话式访谈，提升调查研究的深度与规模
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 对话式访谈 AI访谈员 意见调查 自然语言处理
📋 核心要点
- 传统调查方法在深度和规模之间存在权衡，对话式访谈成本高昂，限制了其应用。
- 论文提出使用大型语言模型（LLM）作为AI访谈员，旨在实现可扩展且深入的对话式访谈。
- 实验表明，AI访谈员能够生成与人工访谈员质量相当的数据，同时具备更好的可扩展性。
📝 摘要（中文）
传统的人群意见调查方法面临深度和规模的权衡：结构化调查能够大规模收集数据，但限制了受访者用自己的语言表达观点；对话式访谈能提供更深入的见解，但资源消耗大。本研究探索了用大型语言模型（LLM）替代人工访谈员，进行可扩展的对话式访谈的潜力。我们的目标是在受控环境中评估AI对话式访谈的性能，并识别改进机会。我们对大学生进行了一项小规模、深入的研究，他们被随机分配到由AI或人工访谈员进行的对话式访谈，两者都使用相同的政治主题问卷。我们使用各种定量和定性指标评估了访谈员对指南的遵守情况、回复质量、参与者参与度和整体访谈效果。研究结果表明，AI对话式访谈在生成与传统方法相当的高质量数据方面是可行的，并且具有可扩展性的优势。我们发布了数据和材料以供重用，并提出了有效实施的具体建议。
🔬 方法详解
问题定义：论文旨在解决传统调查方法中深度和规模难以兼顾的问题。结构化调查虽然可以大规模开展，但缺乏深度，受访者无法充分表达；而人工对话式访谈虽然深入，但成本高昂，难以大规模应用。因此，如何以较低的成本实现大规模且深入的意见调查是本研究要解决的核心问题。
核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，构建AI对话式访谈系统，替代人工访谈员。通过预设的问卷和对话策略，LLM可以与受访者进行自然流畅的对话，收集更丰富、更深入的意见，同时降低访谈成本，实现大规模应用。
技术框架：该研究的技术框架主要包括以下几个模块：1) 问卷设计模块：设计结构化的问卷，包含政治主题相关的问题。2) LLM驱动的对话引擎：使用LLM作为核心，负责理解受访者的回答，并根据预设的对话策略生成后续问题。3) 评估模块：对AI访谈员和人工访谈员的访谈结果进行定量和定性评估，包括回复质量、参与者参与度等。4) 数据分析模块：对收集到的数据进行分析，比较AI访谈员和人工访谈员的表现。
关键创新：本研究的关键创新在于将大型语言模型应用于对话式访谈领域，探索了AI访谈员替代人工访谈员的可行性。与传统的基于规则或模板的对话系统相比，LLM具有更强的自然语言理解和生成能力，能够进行更自然、更流畅的对话，从而获得更深入的受访者意见。
关键设计：研究中，LLM的选择和prompt的设计至关重要。论文中提到使用了特定的LLM，但未明确指出具体模型。Prompt的设计需要保证LLM能够准确理解问卷内容，并生成符合要求的对话。此外，对话策略的设计也需要考虑如何引导受访者更深入地表达观点，以及如何处理受访者的异常回答。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AI对话式访谈在生成高质量数据方面与人工访谈员相当，证明了AI访谈员的可行性。研究人员通过定量和定性分析，评估了AI访谈员在指南遵守、回复质量和参与者参与度等方面的表现。虽然没有给出具体的性能数据和提升幅度，但研究强调了AI访谈员在可扩展性方面的优势。
🎯 应用场景
该研究成果可应用于各种需要收集用户意见的场景，例如市场调研、政策评估、用户反馈等。AI对话式访谈能够降低访谈成本，提高访谈效率，并实现大规模的意见收集。未来，该技术还可以与个性化推荐、情感分析等技术相结合，提供更智能、更个性化的服务。
📄 摘要（原文）
Traditional methods for eliciting people's opinions face a trade-off between depth and scale: structured surveys enable large-scale data collection but limit respondents' ability to voice their opinions in their own words, while conversational interviews provide deeper insights but are resource-intensive. This study explores the potential of replacing human interviewers with large language models (LLMs) to conduct scalable conversational interviews. Our goal is to assess the performance of AI Conversational Interviewing and to identify opportunities for improvement in a controlled environment. We conducted a small-scale, in-depth study with university students who were randomly assigned to a conversational interview by either AI or human interviewers, both employing identical questionnaires on political topics. Various quantitative and qualitative measures assessed interviewer adherence to guidelines, response quality, participant engagement, and overall interview efficacy. The findings indicate the viability of AI Conversational Interviewing in producing quality data comparable to traditional methods, with the added benefit of scalability. We publish our data and materials for re-use and present specific recommendations for effective implementation.