Generative Large Language Models (gLLMs) in Content Analysis: A Practical Guide for Communication Research

📄 arXiv: 2510.24337v1 📥 PDF

作者: Daria Kravets-Meinke, Hannah Schmid-Petri, Sonja Niemann, Ute Schmid

分类: cs.AI, cs.SI

发布日期: 2025-10-28

💡 一句话要点

为提升传播研究内容分析质量，提出基于生成式大语言模型的实践指南

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式大语言模型 内容分析 传播研究 提示工程 自动化编码

📋 核心要点

  1. 传统内容分析方法耗时费力，且依赖人工编码，存在主观性和一致性问题，难以处理大规模数据。
  2. 论文提出一套基于生成式大语言模型（gLLMs）的内容分析流程，涵盖编码手册开发、提示工程、模型选择等关键步骤。
  3. 该指南旨在帮助传播研究人员更有效地利用gLLMs进行内容分析，同时保证研究的有效性、可靠性和可重复性。

📝 摘要（中文）

生成式大语言模型（gLLMs），如ChatGPT，正越来越多地应用于传播研究中的内容分析。研究表明，在各种与传播科学相关的编码任务中，gLLMs的性能可以优于众包工作者和训练有素的编码员（如研究助理），且通常只需花费极少的时间和成本。此外，gLLMs可以解码隐含意义和上下文信息，可以使用自然语言进行指导，只需基本的编程技能即可部署，并且除了验证数据集之外，几乎不需要或根本不需要带注释的数据——这构成了自动化内容分析的范式转变。尽管gLLMs具有潜力，但将其整合到传播研究的方法论工具包中仍不发达。在gLLM辅助的定量内容分析中，研究人员必须解决至少七个影响结果质量的关键挑战：（1）编码手册开发，（2）提示工程，（3）模型选择，（4）参数调整，（5）迭代改进，（6）模型可靠性的验证，以及可选的（7）性能增强。本文综合了关于gLLM辅助定量内容分析的新兴研究，并提出了一个全面的最佳实践指南，以应对这些挑战。我们的目标是使基于gLLM的内容分析更易于更广泛的传播研究人员使用，并确保遵守既定的学科质量标准，即有效性、可靠性、可重复性和研究伦理。

🔬 方法详解

问题定义：论文旨在解决传播研究中定量内容分析效率低、成本高、主观性强的问题。现有方法依赖人工编码，耗时费力，且难以保证编码的一致性和客观性。此外，传统方法难以捕捉文本中的隐含意义和上下文信息。

核心思路：论文的核心思路是利用生成式大语言模型（gLLMs）的强大自然语言处理能力，自动化内容分析过程。通过精心设计的提示（prompts），引导gLLMs理解编码规则并进行文本分类、主题提取等任务，从而提高效率、降低成本，并减少主观偏差。

技术框架：论文提出一个gLLM辅助定量内容分析的框架，包含七个关键步骤：(1) 编码手册开发：定义清晰的编码规则；(2) 提示工程：设计有效的提示，引导gLLM完成任务；(3) 模型选择：选择合适的gLLM；(4) 参数调整：优化gLLM的参数；(5) 迭代改进：根据验证结果，不断优化提示和参数；(6) 模型可靠性验证：评估gLLM的编码一致性；(7) 性能增强（可选）：采用技术手段进一步提升性能。

关键创新：论文的关键创新在于将gLLMs引入传播研究的内容分析领域，并提供了一套系统化的最佳实践指南。该指南涵盖了gLLM应用过程中的关键挑战，并提供了相应的解决方案，降低了gLLM的使用门槛，使其更易于被传播研究人员采用。

关键设计：论文强调了提示工程的重要性，并建议采用迭代改进的方法优化提示。此外，论文还讨论了模型选择、参数调整、可靠性验证等关键环节，并提供了相应的建议。例如，在模型选择方面，需要考虑模型的规模、性能、成本等因素。在可靠性验证方面，可以采用Cohen's Kappa等指标评估gLLM的编码一致性。

📊 实验亮点

论文综述了现有gLLM在内容分析中的应用，并指出gLLMs在某些编码任务上可以超越人工编码员，且成本更低。虽然没有提供具体的实验数据，但论文强调了gLLM在自动化内容分析方面的巨大潜力，并为研究人员提供了一套实用的指南，有助于提升研究质量和效率。

🎯 应用场景

该研究成果可广泛应用于传播学、新闻学、政治学等领域的内容分析，例如舆情监测、新闻报道分析、社交媒体内容分析等。通过自动化内容分析，研究人员可以更快速、更高效地处理大规模文本数据，从而深入了解社会现象和传播规律。未来，该方法有望应用于跨语言、跨模态的内容分析。

📄 摘要（原文）

Generative Large Language Models (gLLMs), such as ChatGPT, are increasingly being used in communication research for content analysis. Studies show that gLLMs can outperform both crowd workers and trained coders, such as research assistants, on various coding tasks relevant to communication science, often at a fraction of the time and cost. Additionally, gLLMs can decode implicit meanings and contextual information, be instructed using natural language, deployed with only basic programming skills, and require little to no annotated data beyond a validation dataset - constituting a paradigm shift in automated content analysis. Despite their potential, the integration of gLLMs into the methodological toolkit of communication research remains underdeveloped. In gLLM-assisted quantitative content analysis, researchers must address at least seven critical challenges that impact result quality: (1) codebook development, (2) prompt engineering, (3) model selection, (4) parameter tuning, (5) iterative refinement, (6) validation of the model's reliability, and optionally, (7) performance enhancement. This paper synthesizes emerging research on gLLM-assisted quantitative content analysis and proposes a comprehensive best-practice guide to navigate these challenges. Our goal is to make gLLM-based content analysis more accessible to a broader range of communication researchers and ensure adherence to established disciplinary quality standards of validity, reliability, reproducibility, and research ethics.