Large Language Models and Thematic Analysis: Human-AI Synergy in Researching Hate Speech on Social Media

📄 arXiv: 2408.05126v1 📥 PDF

作者: Petre Breazu, Miriam Schirmer, Songbo Hu, Napoleon Katsos

分类: cs.HC, cs.CL, cs.SI

发布日期: 2024-08-09

💡 一句话要点

利用大型语言模型进行主题分析，探索人机协同在社交媒体仇恨言论研究中的潜力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 主题分析 人机协同 社交媒体 仇恨言论

📋 核心要点

  1. 现有定性研究方法在处理大规模文本数据时面临效率和可扩展性的挑战，难以快速洞察社会热点议题。
  2. 本研究探索利用GPT-4等大型语言模型进行主题分析，旨在结合AI的效率与人类的专业知识，实现人机协同。
  3. 通过对YouTube数据集进行实验，评估LLMs在识别和分析仇恨言论等社会问题方面的能力，并探讨其局限性。

📝 摘要（中文）

本文探讨了大型语言模型（LLMs）在文本分析中的发展和应用，尤其关注其在人文和社会科学领域定性分析中的潜力。尽管LLMs在定性分析方面展现出前景，但其在人文社科领域的应用尚未得到充分研究。本文通过记录一项使用GPT-4进行的实验研究，为LLMs在定性分析领域的新兴文献做出贡献。该研究使用来自欧盟资助项目的YouTube数据集，该数据集先前已被其他研究人员分析，内容涉及2016年瑞典罗姆人移民的代表性，该时期正值2015年难民危机之后和2017年瑞典全国选举之前。研究旨在了解结合人类智能与AI的可扩展性和效率的潜力，并考察在人文社科领域的定性研究中使用LLMs的优势和局限性。此外，还讨论了LLMs在这些领域应用的未来方向。

🔬 方法详解

问题定义：论文旨在解决人文社科研究中，特别是涉及大规模社交媒体数据分析时，传统主题分析方法效率低下的问题。现有方法依赖人工编码，耗时耗力，难以快速应对社会热点事件，并且可能受到研究者主观偏见的影响。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的文本理解和生成能力，自动化或半自动化地进行主题分析。通过让人工智能辅助研究者进行数据编码、主题识别和模式挖掘，提高分析效率和客观性。同时，强调人机协同，发挥人类研究者的专业知识和批判性思维，对LLMs的输出进行验证和解释。

技术框架：研究采用GPT-4作为主题分析工具，整体流程包括：1) 数据准备：使用来自欧盟资助项目的YouTube数据集，该数据集包含关于2016年瑞典罗姆人移民的评论；2) LLM分析：使用GPT-4对数据进行主题分析，提取潜在的主题和模式；3) 人工验证：研究人员对GPT-4的输出进行审查和验证，评估其准确性和可靠性；4) 结果解释：研究人员结合领域知识，对分析结果进行深入解释和讨论。

关键创新：论文的关键创新在于探索了LLMs在人文社科定性研究中的应用潜力，并提出了人机协同的主题分析方法。与传统方法相比，该方法能够显著提高分析效率，并减少人工偏见。此外，论文还深入探讨了LLMs在定性研究中的局限性，为未来的研究方向提供了指导。

关键设计：论文未提供具体的参数设置、损失函数或网络结构等技术细节，因为GPT-4是一个黑盒模型。研究的重点在于如何有效地利用GPT-4进行主题分析，以及如何结合人类智能来弥补LLMs的不足。研究人员可能使用了prompt engineering等技术来指导GPT-4的分析过程，但具体细节未知。

📊 实验亮点

该研究的主要亮点在于探索了GPT-4在主题分析中的应用潜力，并验证了人机协同方法的可行性。虽然论文没有提供具体的性能数据，但强调了LLMs在提高分析效率和减少人工偏见方面的优势。研究结果表明，LLMs可以作为一种有力的工具，辅助研究人员进行定性研究，但需要结合人类的专业知识进行验证和解释。

🎯 应用场景

该研究成果可应用于多个领域，包括社会科学、政治学、传播学等。例如，可以用于分析社交媒体上的舆情，监测网络仇恨言论，评估公共政策的影响，以及研究社会运动的演变。通过结合AI的效率和人类的专业知识，可以更快速、更准确地洞察社会现象，为决策提供依据。

📄 摘要（原文）

In the dynamic field of artificial intelligence (AI), the development and application of Large Language Models (LLMs) for text analysis are of significant academic interest. Despite the promising capabilities of various LLMs in conducting qualitative analysis, their use in the humanities and social sciences has not been thoroughly examined. This article contributes to the emerging literature on LLMs in qualitative analysis by documenting an experimental study involving GPT-4. The study focuses on performing thematic analysis (TA) using a YouTube dataset derived from an EU-funded project, which was previously analyzed by other researchers. This dataset is about the representation of Roma migrants in Sweden during 2016, a period marked by the aftermath of the 2015 refugee crisis and preceding the Swedish national elections in 2017. Our study seeks to understand the potential of combining human intelligence with AI's scalability and efficiency, examining the advantages and limitations of employing LLMs in qualitative research within the humanities and social sciences. Additionally, we discuss future directions for applying LLMs in these fields.