Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

📄 arXiv: 2604.20131v1 📥 PDF

作者: Melanie Subbiah, Haaris Mian, Nicholas Deas, Ananya Mayukha, Dan P. McAdams, Kathleen McKeown

分类: cs.CL

发布日期: 2026-04-22

💡 一句话要点

提出基于LLM摘要的偏见分析流程，用于评估LLM在生命叙事解读中的种族和性别偏见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏见分析 生命叙事 摘要生成 种族偏见 性别偏见 立场性 定性分析

📋 核心要点

  1. 现有方法难以评估LLM在归纳主题分析等抽象任务中引入的伦理和视角偏见。
  2. 论文提出一种基于摘要的流程，通过分析LLM生成的摘要来识别其在解读生命故事时的偏见。
  3. 实验证明该流程能够有效识别LLM在种族和性别方面的偏见，揭示潜在的表征性伤害。

📝 摘要（中文）

越来越多的研究探索使用大型语言模型（LLM）对文本数据进行加速或大规模的定性分析。虽然我们可以直接将LLM的准确性与人工标注进行比较来进行演绎编码或文本标注，但在归纳主题分析等抽象方法中，判断使用LLM的伦理性和有效性更具挑战性。我们与心理学家合作，研究LLM对人类生活故事所做的抽象性声明，并提出问题：使用LLM作为意义的解释器如何影响研究的结论和视角？我们提出了一种基于摘要的流程，用于揭示LLM在解释这些生活故事时可能采用的视角偏见。我们证明了我们的流程可以识别种族和性别偏见，并可能造成表征性伤害。最后，我们鼓励在未来涉及基于LLM解释研究参与者书面文本或转录语音的研究中使用这种分析，以描述研究的立场画像。

🔬 方法详解

问题定义：论文旨在解决LLM在解释人类生活叙事时可能存在的偏见问题。现有方法难以有效评估LLM在归纳主题分析等抽象任务中引入的伦理和视角偏见，这可能导致研究结论受到扭曲，甚至产生表征性伤害。

核心思路：论文的核心思路是利用LLM自身的摘要能力，通过分析LLM生成的摘要来揭示其在理解和概括人类生活故事时可能存在的偏见。这种方法假设LLM的摘要会反映其内在的偏见，从而可以通过分析摘要内容来识别这些偏见。

技术框架：该流程主要包含以下几个阶段：1) 收集人类生活叙事数据；2) 使用LLM对这些叙事进行摘要；3) 分析LLM生成的摘要，识别其中存在的种族和性别偏见；4) 将分析结果用于评估LLM在解释生活叙事时的立场。

关键创新：该论文的关键创新在于提出了一种基于摘要的偏见分析流程，该流程能够有效地识别LLM在解释人类生活叙事时可能存在的种族和性别偏见。与传统方法相比，该流程更加高效和自动化，并且能够揭示LLM在抽象层面的偏见。

关键设计：论文中使用的LLM摘要模型是关键组件，选择合适的LLM模型至关重要。此外，偏见分析的方法也需要精心设计，例如可以使用关键词分析、情感分析等技术来识别摘要中存在的偏见。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该流程能够有效地识别LLM在解释人类生活叙事时存在的种族和性别偏见。具体性能数据和对比基线在摘要中未提及，属于未知信息。该研究强调了在利用LLM进行定性分析时，必须关注其潜在的偏见，并采取措施减轻这些偏见可能造成的负面影响。

🎯 应用场景

该研究成果可应用于评估和改进LLM在处理涉及人类主观经验和叙事的任务中的公平性和公正性。例如，在心理学研究、社会科学研究、以及涉及用户反馈分析等领域，可以利用该方法来识别和减轻LLM可能引入的偏见，从而提高研究结果的可靠性和伦理性。该研究也有助于开发更负责任和可信赖的AI系统。

📄 摘要（原文）

Increasingly, studies are exploring using Large Language Models (LLMs) for accelerated or scaled qualitative analysis of text data. While we can compare LLM accuracy against human labels directly for deductive coding, or labeling text, it is more challenging to judge the ethics and effectiveness of using LLMs in abstractive methods such as inductive thematic analysis. We collaborate with psychologists to study the abstractive claims LLMs make about human life stories, asking, how does using an LLM as an interpreter of meaning affect the conclusions and perspectives of a study? We propose a summarization-based pipeline for surfacing biases in perspective-taking an LLM might employ in interpreting these life stories. We demonstrate that our pipeline can identify both race and gender bias with the potential for representational harm. Finally, we encourage the use of this analysis in future studies involving LLM-based interpretation of study participants' written text or transcribed speech to characterize a positionality portrait for the study.