Causal Micro-Narratives
作者: Mourad Heddaya, Qingcheng Zeng, Chenhao Tan, Rob Voigt, Alexander Zentefis
分类: cs.CL, cs.AI, cs.IR, cs.LG
发布日期: 2024-10-07
备注: Accepted to EMNLP 2024 Workshop on Narrative Understanding
期刊: Proceedings of the The 6th Workshop on Narrative Understanding at EMNLP 2024, pages 67-84, Miami, Florida, USA. Association for Computational Linguistics
💡 一句话要点
提出一种基于主题本体的因果微叙事分类方法，应用于通货膨胀叙事分析。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 因果关系抽取 微叙事分析 大型语言模型 多标签分类 主题本体 自然语言处理
📋 核心要点
- 现有方法难以从文本中自动识别和分类因果微叙事，尤其是在特定领域。
- 该方法利用主题相关的本体知识，指导大型语言模型识别文本中的因果关系。
- 实验表明，微调后的Llama 3.1 8B模型在因果微叙事分类任务上取得了显著的F1分数。
📝 摘要（中文）
本文提出了一种从文本中分类因果微叙事的新方法。这些叙事是对目标主题的起因和/或结果的句子级解释。该方法仅需要一个特定主题的起因和结果的本体。我们通过将其应用于通货膨胀叙事来展示该方法。我们使用一个人工标注的、跨越历史和当代美国新闻文章的数据集进行训练，并在多标签分类任务上评估了几个大型语言模型（LLM）。性能最佳的模型——一个经过微调的Llama 3.1 8B——在叙事检测上实现了0.87的F1分数，在叙事分类上实现了0.71的F1分数。全面的错误分析揭示了语言歧义带来的挑战，并强调了模型错误通常反映了人类标注者的分歧。这项研究建立了一个从真实世界数据中提取因果微叙事的框架，具有广泛的社会科学研究应用。
🔬 方法详解
问题定义：论文旨在解决从文本中自动提取和分类因果微叙事的问题。现有的方法在处理句子级别的因果关系，特别是需要领域知识的因果关系时，表现不足。缺乏有效的方法来利用领域知识指导模型识别和分类因果关系，导致准确率不高。
核心思路：论文的核心思路是利用特定主题的本体知识来指导大型语言模型识别和分类因果微叙事。通过构建包含起因和结果的本体，模型可以更好地理解文本中潜在的因果关系，从而提高分类的准确性。这种方法将领域知识融入到模型中，使其能够更好地理解特定领域的因果叙事。
技术框架：整体框架包括以下几个主要步骤：1) 构建特定主题的本体，包含起因和结果；2) 使用人工标注的数据集对大型语言模型进行微调，数据集包含历史和当代的新闻文章；3) 使用微调后的模型对新的文本进行因果微叙事分类；4) 对模型的错误进行分析，并根据分析结果改进模型和本体。
关键创新：论文的关键创新在于将特定主题的本体知识融入到大型语言模型中，从而提高了因果微叙事分类的准确性。与传统的基于规则或统计的方法相比，该方法能够更好地处理复杂的语言现象和领域知识。此外，该方法只需要一个主题特定的本体，降低了模型的训练成本。
关键设计：论文使用Llama 3.1 8B作为基础模型，并使用人工标注的数据集对其进行微调。数据集包含历史和当代的新闻文章，涵盖了通货膨胀等主题。模型采用多标签分类的方式，对文本中的因果微叙事进行分类。损失函数采用标准的交叉熵损失函数。具体的超参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过微调的Llama 3.1 8B模型在叙事检测上达到了0.87的F1分数，在叙事分类上达到了0.71的F1分数。这些结果表明，该方法能够有效地从文本中提取和分类因果微叙事。错误分析表明，模型错误通常反映了人类标注者的分歧，说明该任务本身具有一定的挑战性。
🎯 应用场景
该研究成果可广泛应用于社会科学研究，例如分析新闻报道中关于经济现象（如通货膨胀）的因果叙事，从而了解公众对经济事件的认知和态度。此外，该方法还可以应用于舆情分析、政策评估等领域，帮助决策者更好地理解社会动态和制定合理的政策。
📄 摘要（原文）
We present a novel approach to classify causal micro-narratives from text. These narratives are sentence-level explanations of the cause(s) and/or effect(s) of a target subject. The approach requires only a subject-specific ontology of causes and effects, and we demonstrate it with an application to inflation narratives. Using a human-annotated dataset spanning historical and contemporary US news articles for training, we evaluate several large language models (LLMs) on this multi-label classification task. The best-performing model--a fine-tuned Llama 3.1 8B--achieves F1 scores of 0.87 on narrative detection and 0.71 on narrative classification. Comprehensive error analysis reveals challenges arising from linguistic ambiguity and highlights how model errors often mirror human annotator disagreements. This research establishes a framework for extracting causal micro-narratives from real-world data, with wide-ranging applications to social science research.