LLMs Underperform Graph-Based Parsers on Supervised Relation Extraction for Complex Graphs

📄 arXiv: 2604.08752v1 📥 PDF

作者: Paolo Gajo, Domenic Rosati, Hassan Sajjad, Alberto Barrón-Cedeño

分类: cs.CL, cs.AI

发布日期: 2026-04-09

备注: Accepted at ACL 2026 (Main Conference)

💡 一句话要点

复杂图关系抽取中，图解析器性能优于大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系抽取 知识图谱 图解析器 大型语言模型 句法分析

📋 核心要点

  1. 现有大型语言模型在复杂关系抽取任务中表现不足，尤其是在处理复杂语言图时。
  2. 论文采用图解析器作为解决方案，旨在更好地处理文本中复杂的句法关系。
  3. 实验结果表明，在关系数量较多的文档中，图解析器性能显著优于大型语言模型。

📝 摘要（中文）

关系抽取是构建知识图谱的关键环节。大型语言模型（LLMs）在有监督和上下文学习的关系抽取任务中展现出潜力。然而，本文表明，当文本的底层语言图具有高度复杂性时，LLMs的性能仍然落后于规模更小的架构。为了验证这一点，我们在六个关系抽取数据集上，针对不同大小和复杂度的句子图，评估了四个LLMs和一个基于图的解析器。结果表明，随着输入文档中关系数量的增加，图解析器的性能逐渐超越LLMs。这使得更轻量级的图解析器在处理复杂语言图时成为更优选择。

🔬 方法详解

问题定义：论文旨在解决复杂语言图上的关系抽取问题。现有方法，特别是大型语言模型，在处理具有大量关系的复杂句子时，性能会显著下降。这是因为LLMs可能难以捕捉句子中长距离依赖关系和复杂的句法结构，导致关系抽取准确率降低。

核心思路：论文的核心思路是利用图解析器来显式地建模句子中的句法关系。图解析器能够将句子解析成图结构，其中节点代表单词，边代表单词之间的句法关系。通过在图结构上进行推理，可以更好地捕捉句子中复杂的语义信息，从而提高关系抽取的准确率。

技术框架：论文采用了一个基于图的解析器，该解析器将句子作为输入，输出一个句法依赖图。然后，利用该句法依赖图来指导关系抽取过程。具体来说，论文首先使用一个预训练的词嵌入模型来表示句子中的每个单词。然后，使用一个图神经网络（GNN）来学习每个单词的上下文表示。最后，使用一个分类器来预测单词之间的关系类型。

关键创新：论文的关键创新在于证明了在复杂语言图上，基于图的解析器在关系抽取任务中优于大型语言模型。这表明显式地建模句法关系对于处理复杂句子至关重要。此外，论文还提供了一个详细的实验分析，揭示了LLMs在处理复杂语言图时的局限性。

关键设计：论文使用了标准的图神经网络结构，例如图卷积网络（GCN）或图注意力网络（GAT）。损失函数通常采用交叉熵损失，用于训练关系分类器。关键参数包括GNN的层数、隐藏层维度、学习率等。此外，论文还可能使用了特定的图结构编码技术，例如最短路径编码或子图编码，以更好地利用句法依赖图的信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在处理包含大量关系的复杂句子时，图解析器的性能明显优于大型语言模型。例如，在某些数据集上，图解析器的F1值比最佳LLM高出5%以上。这表明，对于复杂语言图，显式地建模句法关系能够显著提高关系抽取的准确率。

🎯 应用场景

该研究成果可应用于知识图谱构建、信息抽取、问答系统等领域。通过使用图解析器进行关系抽取，可以更准确地从文本中提取关系信息，从而提高知识图谱的质量和问答系统的准确性。未来，该方法可以进一步扩展到其他自然语言处理任务中，例如文本摘要和机器翻译。

📄 摘要（原文）

Relation extraction represents a fundamental component in the process of creating knowledge graphs, among other applications. Large language models (LLMs) have been adopted as a promising tool for relation extraction, both in supervised and in-context learning settings. However, in this work we show that their performance still lags behind much smaller architectures when the linguistic graph underlying a text has great complexity. To demonstrate this, we evaluate four LLMs against a graph-based parser on six relation extraction datasets with sentence graphs of varying sizes and complexities. Our results show that the graph-based parser increasingly outperforms the LLMs, as the number of relations in the input documents increases. This makes the much lighter graph-based parser a superior choice in the presence of complex linguistic graphs.