Can machines perform a qualitative data analysis? Reading the debate with Alan Turing

📄 arXiv: 2512.04121v1 📥 PDF

作者: Stefano De Paoli

分类: cs.CY, cs.AI, cs.CL

发布日期: 2025-12-02

💡 一句话要点

基于图灵思想重构LLM在定性数据分析中的应用，关注可比性而非可能性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 定性数据分析 图灵测试 可比性 人工智能 自然语言处理 社会科学

📋 核心要点

  1. 现有关于LLM在定性数据分析中的讨论，常常聚焦于机器是否“能”进行分析，忽略了实际应用中的可比性问题。
  2. 论文借鉴图灵测试的思想，将研究重点从机器“能否”分析，转移到LLM分析结果与人类分析结果的“可比性”上。
  3. 通过模仿图灵的写作风格，论文对反对LLM进行定性分析的观点进行了分析，旨在推动更务实的讨论。

📝 摘要（中文）

本文探讨了当前文献中对大型语言模型（LLMs）在定性数据分析中应用的抵制。通过实证和批判性反思，阐明了当前争论的焦点存在偏差。文章提出，研究LLMs在定性分析中的应用，重点不应放在方法本身，而应放在对人工智能系统执行分析的实证研究上。文章借鉴了艾伦·图灵的开创性工作，并利用图灵“计算机器与智能”中的关键思想来解读当前的争论。因此，本文重新定义了LLMs在定性分析中的争论，并指出，与其问机器原则上是否可以进行定性分析，不如问我们是否可以使用LLMs生成与人类分析师足够可比的分析。最后，本文使用与图灵在其开创性著作中使用的相同写作和修辞风格来分析对使用LLMs进行定性分析的相反观点，以讨论对主要问题的相反观点。

🔬 方法详解

问题定义：当前关于LLM应用于定性数据分析的讨论，主要集中在机器是否具备进行此类分析的能力。这种讨论忽略了实际应用中更重要的一个问题：LLM生成的分析结果是否足够接近或可比于人类分析师的结果。现有方法常常陷入哲学层面的争论，而缺乏对实际应用效果的关注。

核心思路：论文的核心思路是将研究重点从“可能性”转移到“可比性”。借鉴图灵测试的思想，如果LLM生成的分析结果能够达到与人类分析师相当的水平，那么就可以认为LLM在一定程度上具备了进行定性数据分析的能力。这种思路更注重实际效果，而非理论上的可能性。

技术框架：论文并没有提出一个具体的LLM应用框架，而是提供了一个概念性的框架，即通过比较LLM和人类分析师的分析结果来评估LLM的性能。这个框架可以指导未来的研究，例如，可以设计实验来比较LLM和人类分析师在特定定性分析任务上的表现。

关键创新：论文的关键创新在于其对问题的重新定义。它将关于LLM在定性数据分析中的讨论从哲学层面拉回到工程实践层面。通过关注LLM分析结果与人类分析结果的可比性，论文为未来的研究提供了一个更具操作性的方向。

关键设计：论文并没有涉及具体的参数设置或网络结构。其核心在于概念框架的转变，即关注可比性而非可能性。未来的研究可以基于此框架，设计具体的实验和评估指标，例如，可以使用Cohen's Kappa系数来衡量LLM和人类分析师分析结果的一致性。

📊 实验亮点

论文的主要亮点在于其对问题的重新定义，即关注LLM分析结果与人类分析结果的可比性。虽然论文没有提供具体的实验结果，但它为未来的研究提供了一个新的方向，并鼓励研究者设计实验来比较LLM和人类分析师在特定定性分析任务上的表现。这种转变有助于推动LLM在定性数据分析领域的实际应用。

🎯 应用场景

该研究的潜在应用领域包括社会科学、市场调研、用户反馈分析等。通过使用LLM辅助定性数据分析，可以提高分析效率，降低成本。未来的影响在于，如果LLM能够生成与人类分析师足够可比的分析结果，那么它们将成为定性数据分析的重要工具。

📄 摘要（原文）

This paper reflects on the literature that rejects the use of Large Language Models (LLMs) in qualitative data analysis. It illustrates through empirical evidence as well as critical reflections why the current critical debate is focusing on the wrong problems. The paper proposes that the focus of researching the use of the LLMs for qualitative analysis is not the method per se, but rather the empirical investigation of an artificial system performing an analysis. The paper builds on the seminal work of Alan Turing and reads the current debate using key ideas from Turing "Computing Machinery and Intelligence". This paper therefore reframes the debate on qualitative analysis with LLMs and states that rather than asking whether machines can perform qualitative analysis in principle, we should ask whether with LLMs we can produce analyses that are sufficiently comparable to human analysts. In the final part the contrary views to performing qualitative analysis with LLMs are analysed using the same writing and rhetorical style that Turing used in his seminal work, to discuss the contrary views to the main question.