Affording Process Auditability with QualAnalyzer: An Atomistic LLM Analysis Tool for Qualitative Research

📄 arXiv: 2604.03820 📥 PDF

作者: Max Hao Lu, Ryan Ellegood, Rony Rodriguez-Ramirez, Sophia Blumert

分类: cs.AI, cs.CL

发布日期: 2026-04-07

💡 一句话要点

QualAnalyzer：通过原子化LLM分析实现定性研究过程的可审计性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 定性研究 过程审计 可解释性 LLM分析

📋 核心要点

  1. 现有定性数据分析工作流程在使用LLM时缺乏透明度，难以追踪分析结论的产生过程，阻碍了研究的可重复性和验证。
  2. QualAnalyzer通过原子化LLM分析，独立处理每个数据段，并记录每个分析单元的提示、输入和输出，从而实现过程可审计性。
  3. 案例研究表明，QualAnalyzer能够创建清晰的审计跟踪，帮助研究人员发现LLM与人类判断之间的差异，提升研究的透明度和可靠性。

📝 摘要（中文）

大型语言模型越来越多地被用于定性数据分析，但许多工作流程掩盖了分析结论的产生过程。我们提出了QualAnalyzer，一个用于Google Workspace的开源Chrome扩展，它通过独立处理每个数据段并保存每个单元的提示、输入和输出来支持原子化的LLM分析。通过两个案例研究——整体论文评分和访谈记录的演绎主题编码——我们表明这种方法创建了一个清晰的审计跟踪，并帮助研究人员调查LLM和人类判断之间的系统性差异。我们认为，过程可审计性对于使LLM辅助的定性研究更加透明和方法上更加稳健至关重要。

🔬 方法详解

问题定义：当前使用大型语言模型进行定性数据分析时，分析过程往往不透明，研究者难以追踪LLM如何从原始数据得出结论。这使得研究结果难以验证和复现，降低了研究的可靠性。现有的工作流程缺乏对LLM分析过程的细粒度控制和记录，导致审计跟踪缺失。

核心思路：QualAnalyzer的核心思路是通过“原子化”的LLM分析，将定性数据分割成独立的单元进行处理，并完整记录每个单元的分析过程。通过保存每个数据单元的提示（prompt）、输入（input）和输出（output），构建一个清晰的审计跟踪，从而提高LLM辅助定性研究的透明度和可信度。

技术框架：QualAnalyzer是一个Chrome浏览器扩展，主要针对Google Workspace环境。其工作流程包括：1) 数据分割：将定性数据（如访谈记录、论文等）分割成独立的段落或句子。2) 原子化分析：对每个数据段独立应用LLM进行分析，例如主题编码、情感分析等。3) 过程记录：完整记录每个数据段的提示、输入和LLM的输出结果。4) 审计跟踪：将所有记录整理成易于理解和分析的审计跟踪，方便研究者检查和验证LLM的分析过程。

关键创新：QualAnalyzer的关键创新在于其“原子化”的分析方法和对过程审计的重视。与传统的整体分析方法不同，QualAnalyzer将数据分割成更小的单元，并独立处理每个单元，从而能够更精确地追踪LLM的分析过程。此外，QualAnalyzer强调对每个分析步骤的完整记录，为研究者提供了详细的审计跟踪，方便他们检查和验证LLM的分析结果。

关键设计：QualAnalyzer的关键设计包括：1) 数据分割策略：用户可以根据研究需要自定义数据分割的粒度。2) 提示工程：用户可以设计不同的提示，指导LLM进行特定的分析任务。3) 结果可视化：QualAnalyzer提供多种可视化工具，帮助用户分析和比较LLM和人类的判断结果。4) 开源架构：QualAnalyzer采用开源架构，方便用户根据自己的需求进行定制和扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过两个案例研究验证了QualAnalyzer的有效性。在整体论文评分案例中，QualAnalyzer帮助研究人员比较了LLM和人类评分员的差异，并发现了LLM评分的潜在偏差。在访谈记录的主题编码案例中，QualAnalyzer创建了清晰的审计跟踪，方便研究人员检查和验证LLM的编码结果。案例研究表明，QualAnalyzer能够显著提高LLM辅助定性研究的透明度和可靠性。

🎯 应用场景

QualAnalyzer可应用于各种定性研究领域，例如社会科学、教育学、心理学等。它可以帮助研究人员更有效地利用LLM进行数据分析，提高研究的透明度和可信度。通过审计跟踪，研究人员可以更好地理解LLM的分析过程，发现潜在的偏差和错误，并改进LLM的应用策略。未来，QualAnalyzer可以扩展到支持更多的数据格式和LLM模型，并提供更强大的分析和可视化功能。

📄 摘要（原文）

Large language models are increasingly used for qualitative data analysis, but many workflows obscure how analytic conclusions are produced. We present QualAnalyzer, an open-source Chrome extension for Google Workspace that supports atomistic LLM analysis by processing each data segment independently and preserving the prompt, input, and output for every unit. Through two case studies -- holistic essay scoring and deductive thematic coding of interview transcripts -- we show that this approach creates a legible audit trail and helps researchers investigate systematic differences between LLM and human judgments. We argue that process auditability is essential for making LLM-assisted qualitative research more transparent and methodologically robust.