"You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation

📄 arXiv: 2310.17793v2 📥 PDF

作者: Allyson Ettinger, Jena D. Hwang, Valentina Pyatkin, Chandra Bhagavatula, Yejin Choi

分类: cs.CL, cs.AI

发布日期: 2023-10-26 (更新: 2023-12-11)

备注: EMNLP 2023 Findings (short)

💡 一句话要点

评估大型语言模型在抽象意义表示分析中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 抽象意义表示 语义分析 自然语言处理 模型评估

📋 核心要点

  1. 现有大型语言模型在抽象意义表示的解析能力上存在显著局限，尤其在生成准确解析时表现不佳。
  2. 论文通过对比不同模型在AMR解析中的表现，探讨其在直接生成和间接重构解析中的能力与不足。
  3. 实验结果表明，尽管模型能捕捉语义结构的某些方面，但在生成完全准确的解析方面几乎没有成功率。

📝 摘要（中文）

大型语言模型（LLMs）在语言使用上展现出惊人的流利性和熟练度，但这是否意味着它们具备深入的语言知识，能够作为“专家语言标注者”？本文探讨了GPT-3、ChatGPT和GPT-4在句子意义结构分析中的成功与局限，特别关注抽象意义表示（AMR）解析形式。研究发现，尽管模型能够可靠地重现AMR的基本格式，并捕捉核心事件、论元和修饰符结构，但输出结果频繁出现重大错误，且即使在少量示例下，模型在生成完全准确的解析时几乎没有成功率。总体而言，模型在捕捉语义结构方面存在关键局限，无法支持完全准确的语义分析或解析。

🔬 方法详解

问题定义：本文旨在评估大型语言模型在抽象意义表示（AMR）解析中的能力与局限性，现有方法在生成准确解析时存在显著不足。

核心思路：通过对比不同模型在AMR解析中的表现，分析其在直接生成和间接重构解析中的能力，揭示模型的潜在局限。

技术框架：研究分为两个主要部分：1) 基于零样本和少样本提示直接生成AMR解析；2) 通过元语言自然语言查询间接重构AMR。

关键创新：论文的创新在于系统性地评估了当前主流大型语言模型在复杂语义结构解析中的表现，揭示了其在准确性上的重大缺陷。

关键设计：研究中使用了多种提示策略和查询形式，以探索模型在解析任务中的表现，并对模型输出的准确性进行了定量分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管模型能够生成AMR的基本格式，但在生成完全准确的解析时，成功率几乎为0%。这一发现强调了当前大型语言模型在语义分析中的局限性，提示未来研究需关注模型的准确性提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、语义分析和语言理解系统的开发。通过深入理解大型语言模型的局限性，研究者可以改进模型设计，提升其在复杂语义任务中的表现，推动相关技术的进步。

📄 摘要（原文）

Large language models (LLMs) show amazing proficiency and fluency in the use of language. Does this mean that they have also acquired insightful linguistic knowledge about the language, to an extent that they can serve as an "expert linguistic annotator"? In this paper, we examine the successes and limitations of the GPT-3, ChatGPT, and GPT-4 models in analysis of sentence meaning structure, focusing on the Abstract Meaning Representation (AMR; Banarescu et al. 2013) parsing formalism, which provides rich graphical representations of sentence meaning structure while abstracting away from surface forms. We compare models' analysis of this semantic structure across two settings: 1) direct production of AMR parses based on zero- and few-shot prompts, and 2) indirect partial reconstruction of AMR via metalinguistic natural language queries (e.g., "Identify the primary event of this sentence, and the predicate corresponding to that event."). Across these settings, we find that models can reliably reproduce the basic format of AMR, and can often capture core event, argument, and modifier structure -- however, model outputs are prone to frequent and major errors, and holistic analysis of parse acceptability shows that even with few-shot demonstrations, models have virtually 0% success in producing fully accurate parses. Eliciting natural language responses produces similar patterns of errors. Overall, our findings indicate that these models out-of-the-box can capture aspects of semantic structure, but there remain key limitations in their ability to support fully accurate semantic analyses or parses.