Show, Don't Tell: Uncovering Implicit Character Portrayal using LLMs

📄 arXiv: 2412.04576v1 📥 PDF

作者: Brandon Jaipersaud, Zining Zhu, Frank Rudzicz, Elliot Creager

分类: cs.CL, cs.AI, cs.CY

发布日期: 2024-12-05

期刊: NeurIPS 2024 Creativity and Generative AI Workshop

💡 一句话要点

提出LIIPA框架，利用LLM揭示小说中隐式的人物刻画，提升分析准确性和公平性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐式人物刻画 大型语言模型 文学分析 公平性 叙事文本 思维链 人物属性

📋 核心要点

  1. 现有的人物分析工具依赖于显式文本，无法有效捕捉小说中通过行为和动作展现的隐式人物刻画。
  2. 论文提出LIIPA框架，利用LLM结合人物属性词表和思维链等中间计算，推断小说人物的隐式刻画。
  3. 实验表明LIIPA优于现有方法，对人物数量增加更鲁棒，并在公平性和准确性之间取得较好平衡。

📝 摘要（中文）

本文旨在利用大型语言模型（LLMs）来挖掘小说中隐式的人物刻画，以弥补现有工具主要依赖显式文本指标的不足。为此，作者首先构建了一个数据集，该数据集在主题相似性、词汇多样性和叙事长度方面均优于现有叙事文本语料库。然后，提出了LIIPA（LLMs for Inferring Implicit Portrayal for Character Analysis）框架，该框架通过提示LLMs，并结合中间计算（如人物属性词表、思维链），来推断小说人物的刻画方式。实验结果表明，LIIPA优于现有方法，并且由于能够利用完整的叙事上下文，因此对人物数量的增加更具鲁棒性。此外，作者还研究了人物刻画估计对人口统计学特征的敏感性，发现LIIPA框架中的方法存在公平性与准确性之间的权衡。尽管存在这种权衡，但所有LIIPA变体在公平性和准确性方面均始终优于非LLM基线。这项工作展示了使用LLMs分析复杂人物以及更好地理解隐式刻画偏差在叙事文本中如何体现的潜在好处。

🔬 方法详解

问题定义：现有的人物分析工具主要依赖于文本中显式提及的人物属性，忽略了小说中大量通过人物行为、对话等方式隐式展现的刻画。这种隐式刻画对于理解人物形象至关重要，而现有方法难以有效捕捉。因此，论文旨在解决如何利用LLM自动挖掘小说文本中的隐式人物刻画问题。

核心思路：论文的核心思路是利用LLM强大的文本理解和推理能力，通过设计合适的prompt，引导LLM从小说文本中推断出人物的隐式属性和特征。同时，引入中间计算步骤，例如人物属性词表和思维链，来辅助LLM进行更准确的推理，提高结果的可解释性。

技术框架：LIIPA框架主要包含以下几个阶段：1) 数据集构建：构建一个包含丰富隐式人物刻画的叙事文本数据集。2) Prompt设计：设计不同的prompt，引导LLM进行人物刻画推断。3) 中间计算：引入人物属性词表和思维链等中间计算步骤，辅助LLM进行推理。4) 结果评估：评估不同prompt和中间计算方式下，LLM推断的人物刻画结果的准确性和公平性。

关键创新：LIIPA框架的关键创新在于：1) 提出了一个利用LLM进行隐式人物刻画分析的通用框架。2) 引入了中间计算步骤，提高了LLM推理的准确性和可解释性。3) 关注了人物刻画分析中的公平性问题，并提出了相应的评估指标。与现有方法相比，LIIPA能够更好地利用上下文信息，对人物数量增加具有更强的鲁棒性。

关键设计：在prompt设计方面，论文尝试了不同的prompt模板，例如直接询问LLM人物的属性，或者引导LLM进行思维链推理。在中间计算方面，论文使用了预定义的的人物属性词表，并设计了思维链prompt，引导LLM逐步推断人物的属性。在公平性评估方面，论文采用了算法公平性领域常用的指标，例如机会均等和预测均等。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，LIIPA框架在人物刻画分析任务上优于现有方法。具体来说，LIIPA在准确性和鲁棒性方面均有显著提升，并且在公平性方面也表现出较好的性能。即使在人物数量增加的情况下，LIIPA仍然能够保持较高的准确率，表明其能够有效利用完整的叙事上下文。

🎯 应用场景

该研究成果可应用于文学分析、剧本创作、游戏设计等领域。通过自动分析小说、剧本等文本中的人物刻画，可以帮助作家和编剧更好地塑造人物形象，提升作品的质量。此外，该技术还可以用于分析文本中的偏见和刻板印象，促进文化产品的公平性和多样性。

📄 摘要（原文）

Tools for analyzing character portrayal in fiction are valuable for writers and literary scholars in developing and interpreting compelling stories. Existing tools, such as visualization tools for analyzing fictional characters, primarily rely on explicit textual indicators of character attributes. However, portrayal is often implicit, revealed through actions and behaviors rather than explicit statements. We address this gap by leveraging large language models (LLMs) to uncover implicit character portrayals. We start by generating a dataset for this task with greater cross-topic similarity, lexical diversity, and narrative lengths than existing narrative text corpora such as TinyStories and WritingPrompts. We then introduce LIIPA (LLMs for Inferring Implicit Portrayal for Character Analysis), a framework for prompting LLMs to uncover character portrayals. LIIPA can be configured to use various types of intermediate computation (character attribute word lists, chain-of-thought) to infer how fictional characters are portrayed in the source text. We find that LIIPA outperforms existing approaches, and is more robust to increasing character counts (number of unique persons depicted) due to its ability to utilize full narrative context. Lastly, we investigate the sensitivity of portrayal estimates to character demographics, identifying a fairness-accuracy tradeoff among methods in our LIIPA framework -- a phenomenon familiar within the algorithmic fairness literature. Despite this tradeoff, all LIIPA variants consistently outperform non-LLM baselines in both fairness and accuracy. Our work demonstrates the potential benefits of using LLMs to analyze complex characters and to better understand how implicit portrayal biases may manifest in narrative texts.