Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors

📄 arXiv: 2604.16132v1 📥 PDF

作者: Jessica H. Zhu, Shayla Stringfield, Vahe Zaprosyan, Michael Wagner, Michel Cukier, Joseph B. Richardson

分类: cs.CL, cs.AI

发布日期: 2026-04-17

备注: Accepted to Findings of the Association for Computational Linguistics (2026)

期刊: Findings of the Association for Computational Linguistics (2026) (Pending Publication)

💡 一句话要点

评估LLM在枪支暴力幸存者访谈编码中的应用：成本与收益分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 枪支暴力 定性研究 归纳编码 伦理考量

📋 核心要点

  1. 现有定性研究中，人工分析枪支暴力幸存者访谈耗时费力，难以规模化应用。
  2. 本研究探索使用开源LLM进行访谈的归纳编码，以期自动化分析流程。
  3. 实验结果表明，LLM在识别重要编码方面有潜力，但相关性低，且易受数据处理影响。

📝 摘要（中文）

枪支暴力是一个紧迫的公共健康问题，但对幸存者生活经历的研究仍然资金不足且难以扩展。定性研究，包括深度访谈，是理解社区枪支暴力对个人和社会影响以及设计有效干预措施的重要工具。然而，通过主题分析和归纳编码手动分析这些叙述既耗时又费力。大型语言模型（LLM）的最新进展为自动化这一过程打开了大门，但人们仍然担心这些模型是否能够准确且合乎道德地捕捉弱势群体的经历。在这项研究中，我们评估了使用开源LLM对21名社区枪支暴力幸存黑人男性的访谈进行归纳编码。我们的结果表明，虽然LLM的某些配置可以识别重要的代码，但总体相关性仍然很低，并且对数据处理高度敏感。此外，LLM的保护措施导致了大量的叙事抹除。这些发现突出了LLM辅助定性编码的潜力和局限性，并强调了在涉及边缘化社区的研究中应用AI的伦理挑战。

🔬 方法详解

问题定义：本研究旨在评估大型语言模型（LLM）在分析枪支暴力幸存者访谈数据中的有效性和伦理影响。现有方法依赖于人工编码，耗时且成本高昂，难以大规模应用。此外，现有方法可能存在研究者主观偏见，影响分析结果的客观性。

核心思路：核心思路是利用LLM的自然语言处理能力，自动对访谈文本进行归纳编码，从而加速分析过程并降低成本。通过比较不同LLM配置的性能，评估其在识别关键主题和捕捉幸存者经历方面的能力。同时，关注LLM在处理敏感数据时的伦理问题，例如叙事抹除和偏见放大。

技术框架：研究采用开源LLM，对21名黑人枪支暴力幸存者的访谈记录进行分析。研究流程包括：1) 数据预处理，清洗和准备访谈文本；2) LLM配置选择，选择合适的开源LLM模型；3) 归纳编码，使用LLM自动生成编码；4) 结果评估，人工评估LLM生成的编码的相关性和准确性；5) 伦理分析，评估LLM在处理敏感数据时的伦理影响。

关键创新：本研究的关键创新在于探索了LLM在枪支暴力研究中的应用，并深入分析了其在定性数据分析中的潜力和局限性。与以往研究不同，本研究不仅关注LLM的性能，还强调了其在处理弱势群体数据时的伦理问题。

关键设计：研究中，LLM的参数设置和数据处理方式对结果有显著影响。研究人员尝试了不同的提示工程（prompt engineering）方法，以提高LLM的编码质量。此外，研究还评估了LLM的“保护措施”（guardrails）对叙事完整性的影响。具体的技术细节（如损失函数、网络结构等）取决于所选的开源LLM模型，论文中可能未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然LLM的某些配置可以识别重要的编码，但总体相关性仍然很低，并且对数据处理高度敏感。LLM的保护措施（guardrails）会导致大量的叙事抹除。这些发现强调了LLM辅助定性编码的潜力和局限性，并突出了在涉及边缘化社区的研究中应用AI的伦理挑战。

🎯 应用场景

该研究成果可应用于公共卫生、社会学、犯罪学等领域，帮助研究人员更高效地分析枪支暴力、自然灾害等事件幸存者的访谈数据，从而更好地理解受害者经历，制定更有效的干预措施。此外，该研究也为AI在敏感数据分析中的伦理应用提供了重要参考。

📄 摘要（原文）

Firearm violence is a pressing public health issue, yet research into survivors' lived experiences remains underfunded and difficult to scale. Qualitative research, including in-depth interviews, is a valuable tool for understanding the personal and societal consequences of community firearm violence and designing effective interventions. However, manually analyzing these narratives through thematic analysis and inductive coding is time-consuming and labor-intensive. Recent advancements in large language models (LLMs) have opened the door to automating this process, though concerns remain about whether these models can accurately and ethically capture the experiences of vulnerable populations. In this study, we assess the use of open-source LLMs to inductively code interviews with 21 Black men who have survived community firearm violence. Our results demonstrate that while some configurations of LLMs can identify important codes, overall relevance remains low and is highly sensitive to data processing. Furthermore, LLM guardrails lead to substantial narrative erasure. These findings highlight both the potential and limitations of LLM-assisted qualitative coding and underscore the ethical challenges of applying AI in research involving marginalized communities.