Large Language Model for Qualitative Research -- A Systematic Mapping Study

📄 arXiv: 2411.14473v4 📥 PDF

作者: Cauã Ferreira Barros, Bruna Borges Azevedo, Valdemar Vicente Graciano Neto, Mohamad Kassab, Marcos Kalinowski, Hugo Alexandre D. do Nascimento, Michelle C. G. S. P. Bandeira

分类: cs.CL, cs.AI

发布日期: 2024-11-18 (更新: 2025-03-06)

备注: 8 pages, includes 1 figures and 3 tables. Submitted and Accepted to the WSESE 2025 ICSE Workshop

💡 一句话要点

系统性综述：利用大型语言模型赋能质性研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 质性研究 系统性综述 文献分析 自然语言处理

📋 核心要点

  1. 传统质性分析方法在处理海量文本数据时面临效率和主观性挑战。
  2. 该研究通过系统性文献综述，探索LLM在质性研究中的应用潜力与局限。
  3. 研究揭示了LLM在自动化质性分析流程方面的潜力，并指出了未来研究方向。

📝 摘要（中文）

医疗、教育和社会科学等领域中，文本数据的指数级增长已经超过了传统质性分析方法的能力，这些方法耗时且容易受到主观性的影响。由先进生成式人工智能驱动的大型语言模型（LLM）已经成为变革性工具，能够自动化和增强质性分析。本研究系统地梳理了关于使用LLM进行质性研究的文献，探讨了它们的应用背景、配置、方法和评估指标。研究结果表明，LLM被应用于不同的领域，展示了自动化传统上需要大量人工投入的流程的潜力。然而，对提示工程的依赖、偶尔出现的不准确性以及上下文限制仍然是重要的障碍。这项研究强调了将LLM与人类专业知识相结合、提高模型鲁棒性和改进评估方法的机会。通过综合趋势和识别研究差距，本研究旨在指导未来在LLM应用于质性分析方面的创新。

🔬 方法详解

问题定义：传统质性研究方法在面对海量文本数据时，效率低下且容易受到研究者主观偏见的影响。现有方法难以快速、客观地从大量文本中提取有价值的信息，从而限制了研究的深度和广度。该论文旨在通过调研现有文献，了解LLM如何应用于质性研究，并分析其优势与不足。

核心思路：该研究的核心思路是通过系统性文献综述，全面了解LLM在质性研究中的应用现状。通过分析不同研究中的LLM配置、方法和评估指标，识别LLM在质性研究中的潜力和局限性，并为未来的研究方向提供指导。

技术框架：该研究采用系统性文献综述的方法，主要包括以下阶段：(1) 确定研究问题；(2) 制定检索策略；(3) 筛选文献；(4) 数据提取；(5) 数据综合与分析；(6) 撰写综述报告。研究对筛选出的文献进行分类，并分析LLM在不同应用场景下的表现。

关键创新：该研究的关键创新在于对LLM在质性研究中的应用进行了全面的系统性综述。与以往的研究相比，该研究不仅关注LLM在特定领域的应用，而且对LLM的配置、方法和评估指标进行了深入分析，从而更全面地了解LLM在质性研究中的潜力和局限性。

关键设计：该研究的关键设计在于其严格的文献筛选标准和数据提取方法。研究者制定了明确的纳入和排除标准，以确保纳入的文献质量。同时，研究者采用标准化的数据提取表格，以确保数据提取的准确性和一致性。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究通过系统性文献综述，揭示了LLM在质性研究中的应用潜力，并指出了当前面临的挑战，如提示工程依赖、准确性问题和上下文限制。研究强调了LLM与人类专业知识结合的重要性，并为未来研究方向提供了指导，例如提高模型鲁棒性和改进评估方法。

🎯 应用场景

该研究成果可应用于医疗保健、教育、社会科学等多个领域，帮助研究人员更高效、客观地分析文本数据，从而加速科研进程。通过结合LLM与人类专业知识，可以提升研究的深度和广度，为决策提供更可靠的依据。未来，该研究将推动LLM在质性研究中的应用，并促进相关技术的创新。

📄 摘要（原文）

The exponential growth of text-based data in domains such as healthcare, education, and social sciences has outpaced the capacity of traditional qualitative analysis methods, which are time-intensive and prone to subjectivity. Large Language Models (LLMs), powered by advanced generative AI, have emerged as transformative tools capable of automating and enhancing qualitative analysis. This study systematically maps the literature on the use of LLMs for qualitative research, exploring their application contexts, configurations, methodologies, and evaluation metrics. Findings reveal that LLMs are utilized across diverse fields, demonstrating the potential to automate processes traditionally requiring extensive human input. However, challenges such as reliance on prompt engineering, occasional inaccuracies, and contextual limitations remain significant barriers. This research highlights opportunities for integrating LLMs with human expertise, improving model robustness, and refining evaluation methodologies. By synthesizing trends and identifying research gaps, this study aims to guide future innovations in the application of LLMs for qualitative analysis.