'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants
作者: Shivani Kapania, William Agnew, Motahhare Eslami, Hoda Heidari, Sarah Fox
分类: cs.HC, cs.CL, cs.LG
发布日期: 2024-09-28
💡 一句话要点
考察大型语言模型作为质性研究参与者的可行性与伦理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 质性研究 伦理问题 研究方法 人工智能伦理
📋 核心要点
- 现有研究倾向于用LLM生成的数据替代人类参与，但缺乏对这种做法的伦理和方法论影响的深入探讨。
- 本研究通过访谈质性研究人员，考察他们对使用LLM作为研究参与者的看法，揭示其潜在的优势和局限性。
- 研究发现LLM在一定程度上能模拟人类叙述，但也存在伦理问题，如缺乏同意和能动性，以及认识论问题，如缺乏真实感。
📝 摘要（中文）
生成模型引发了用大型语言模型（LLM）生成的合成研究数据替代人类参与研究的提议，例如在调查、实验和访谈中。我们采访了19位质性研究人员，以了解他们对这种范式转变的看法。研究人员最初持怀疑态度，但惊讶地发现，在使用访谈探针时，LLM生成的数据中出现了类似的叙述。然而，经过多次对话，他们发现了根本性的局限性，例如LLM如何剥夺参与者的同意和能动性，产生的反应缺乏真实感和背景深度，并可能使质性研究方法失去合法性。我们认为，使用LLM作为参与者的替代品会产生替代效应，引发伦理和认识论问题，这些问题超越了当前模型的技术局限性，直指LLM是否适合质性认知方式的核心。
🔬 方法详解
问题定义：论文旨在探讨在质性研究中，使用大型语言模型（LLM）生成的数据来替代人类参与者是否可行，以及这种替代方案可能带来的伦理和认识论问题。现有方法依赖于人类参与者，成本高昂且耗时，因此有人提出使用LLM来降低成本和提高效率。然而，这种做法的潜在风险和影响尚未得到充分评估。
核心思路：论文的核心思路是通过访谈质性研究领域的专家，收集他们对使用LLM作为研究参与者的看法。通过分析这些专家的观点，揭示LLM在质性研究中的潜在优势和局限性，以及可能引发的伦理和认识论问题。
技术框架：本研究采用质性研究方法，主要包括以下阶段：1) 文献综述：回顾相关研究，了解LLM在研究中的应用现状和潜在问题。2) 访谈设计：设计访谈问题，旨在了解研究人员对使用LLM作为研究参与者的看法。3) 参与者招募：招募19位质性研究人员作为访谈对象。4) 访谈实施：进行半结构化访谈，收集研究人员的观点和经验。5) 数据分析：对访谈数据进行主题分析，识别关键主题和模式。
关键创新：本研究的创新之处在于，它首次系统地探讨了使用LLM作为质性研究参与者的伦理和认识论问题。通过访谈质性研究专家，揭示了LLM在质性研究中的潜在风险和局限性，为未来的研究提供了重要的参考。
关键设计：访谈问题设计围绕以下几个方面：1) 研究人员对使用LLM作为研究参与者的总体看法。2) LLM生成的数据的质量和可靠性。3) 使用LLM可能带来的伦理问题，如缺乏同意和能动性。4) 使用LLM对质性研究方法的影响。
🖼️ 关键图片
📊 实验亮点
研究发现，尽管LLM在一定程度上可以模拟人类叙述，但在提供具有真实感和背景深度的信息方面存在局限性。此外，研究强调了使用LLM作为研究参与者所引发的伦理问题，例如缺乏参与者的同意和能动性，以及可能对质性研究方法的合法性产生负面影响。研究结果表明，在质性研究中，LLM不能完全替代人类参与者。
🎯 应用场景
该研究结果可应用于评估LLM在社会科学研究中的应用潜力，并为制定使用LLM的伦理准则提供参考。它有助于研究人员在考虑使用LLM替代人类参与者时，权衡其潜在的优势和风险，并采取适当的措施来保护参与者的权益和研究的可靠性。此外，该研究也对人工智能伦理和质性研究方法的发展具有重要意义。
📄 摘要（原文）
The recent excitement around generative models has sparked a wave of proposals suggesting the replacement of human participation and labor in research and development--e.g., through surveys, experiments, and interviews--with synthetic research data generated by large language models (LLMs). We conducted interviews with 19 qualitative researchers to understand their perspectives on this paradigm shift. Initially skeptical, researchers were surprised to see similar narratives emerge in the LLM-generated data when using the interview probe. However, over several conversational turns, they went on to identify fundamental limitations, such as how LLMs foreclose participants' consent and agency, produce responses lacking in palpability and contextual depth, and risk delegitimizing qualitative research methods. We argue that the use of LLMs as proxies for participants enacts the surrogate effect, raising ethical and epistemological concerns that extend beyond the technical limitations of current models to the core of whether LLMs fit within qualitative ways of knowing.