Beyond LLMs: A Linguistic Approach to Causal Graph Generation from Narrative Texts

📄 arXiv: 2504.07459v1 📥 PDF

作者: Zehan Li, Ruhua Pan, Xinyu Pi

分类: cs.CL

发布日期: 2025-04-10

备注: published at the 7th Workshop on Narrative Understanding, NAACL 2025

💡 一句话要点

提出一种基于语言学特征的因果图生成框架，提升从叙事文本中提取因果关系的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果图生成 叙事文本理解 大型语言模型 语言学特征 RoBERTa STAC分类 知识图谱

📋 核心要点

  1. 现有方法难以有效提取叙事文本中细粒度的因果关系，尤其是在高层次因果推理和事件细节之间存在鸿沟。
  2. 该方法利用LLM进行摘要，提取关键Agent，并结合语言学特征构建专家索引，辅助因果关系识别。
  3. 实验结果表明，该方法在因果图质量上优于GPT-4o和Claude 3.5，同时保证了生成结果的可读性。

📝 摘要（中文）

本文提出了一种从叙事文本中生成因果图的新框架，它连接了高层次的因果关系和详细的事件特定关系。该方法首先使用基于大型语言模型（LLM）的摘要提取简洁的、以Agent为中心的顶点。然后，引入一个“专家索引”，包含七个语言学特征，并将其集成到情境-任务-行动-结果（STAC）分类模型中。这个混合系统，结合了RoBERTa嵌入和专家索引，在因果链接识别方面实现了比纯LLM方法更高的精度。最后，一个结构化的五次迭代提示过程改进并构建连接的因果图。在100个叙事章节和短篇故事上的实验表明，该方法在因果图质量方面始终优于GPT-4o和Claude 3.5，同时保持了可读性。该开源工具为捕获叙事中的细微因果链提供了一个可解释、高效的解决方案。

🔬 方法详解

问题定义：论文旨在解决从叙事文本中自动生成高质量因果图的问题。现有方法，特别是纯粹依赖大型语言模型的方法，在捕捉细粒度的因果关系和保证因果图的准确性方面存在不足。这些方法往往难以区分事件之间的真正因果关系，容易产生虚假或不完整的因果链。

核心思路：论文的核心思路是将大型语言模型的文本理解能力与语言学特征相结合，构建一个混合系统。通过LLM提取关键信息，并利用语言学知识来指导因果关系的识别，从而提高因果图生成的准确性和可解释性。这种混合方法旨在弥合高层次因果推理和事件细节之间的差距。

技术框架：该框架包含以下几个主要模块：1) 基于LLM的顶点提取：使用LLM对叙事文本进行摘要，提取以Agent为中心的简洁顶点，代表事件的关键参与者和动作。2) 专家索引构建：设计包含七个语言学特征的专家索引，这些特征能够反映事件之间的潜在因果关系。3) STAC分类模型：构建一个基于RoBERTa嵌入和专家索引的STAC（情境-任务-行动-结果）分类模型，用于识别事件之间的因果链接。4) 迭代提示优化：采用结构化的五次迭代提示过程，对因果图进行精炼和连接，确保图的连通性和逻辑一致性。

关键创新：该论文的关键创新在于将语言学特征融入到因果图生成过程中。通过构建专家索引，该方法能够利用语言学知识来指导因果关系的识别，从而提高因果图的准确性和可解释性。与纯LLM方法相比，该方法能够更好地捕捉事件之间的细微因果关系。

关键设计：专家索引包含七个语言学特征，具体内容未知。STAC分类模型使用RoBERTa嵌入作为文本表示，并结合专家索引作为补充特征。五次迭代提示过程的具体提示策略未知，但其目标是逐步完善因果图的结构和内容。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在100个叙事章节和短篇故事上的因果图质量方面始终优于GPT-4o和Claude 3.5，同时保持了生成结果的可读性。具体的性能提升数据未知，但该方法在因果关系识别的精度上取得了显著的提升。

🎯 应用场景

该研究成果可应用于多个领域，例如故事理解、自动剧情生成、教育评估和智能问答系统。通过自动提取叙事文本中的因果关系，可以帮助机器更好地理解故事内容，并进行更深入的推理和分析。此外，该技术还可以用于评估学生的写作能力，以及构建更智能的问答系统。

📄 摘要（原文）

We propose a novel framework for generating causal graphs from narrative texts, bridging high-level causality and detailed event-specific relationships. Our method first extracts concise, agent-centered vertices using large language model (LLM)-based summarization. We introduce an "Expert Index," comprising seven linguistically informed features, integrated into a Situation-Task-Action-Consequence (STAC) classification model. This hybrid system, combining RoBERTa embeddings with the Expert Index, achieves superior precision in causal link identification compared to pure LLM-based approaches. Finally, a structured five-iteration prompting process refines and constructs connected causal graphs. Experiments on 100 narrative chapters and short stories demonstrate that our approach consistently outperforms GPT-4o and Claude 3.5 in causal graph quality, while maintaining readability. The open-source tool provides an interpretable, efficient solution for capturing nuanced causal chains in narratives.