Pragmatic inference of scalar implicature by LLMs

📄 arXiv: 2408.06673v1 📥 PDF

作者: Ye-eun Cho, Seong mook Kim

分类: cs.CL

发布日期: 2024-08-13

备注: This research was presented at the Association for Computational Linguistics conference, held on August 11-16

💡 一句话要点

研究LLM对标量蕴涵的语用推理能力，揭示BERT和GPT-2的不同机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语用推理 标量蕴涵 BERT GPT-2 自然语言理解 上下文建模

📋 核心要点

  1. 现有研究缺乏对LLM如何进行标量蕴涵语用推理的深入理解，特别是不同模型间的差异。
  2. 本研究通过设计实验，考察BERT和GPT-2在不同上下文条件下对“some”的语用推理能力。
  3. 实验结果表明，BERT更符合默认模型，而GPT-2更符合上下文驱动模型，揭示了二者推理机制的差异。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs），特别是BERT和GPT-2，如何进行标量蕴涵的语用推理，例如“some”。通过余弦相似度和下一句/词预测两种实验方法进行了两组实验。实验1的结果表明，在没有上下文的情况下，两种模型都将“some”解释为语用蕴涵“not all”，与人类语言处理一致。在实验2中，当将讨论中的问题（QUD）作为上下文线索呈现时，BERT表现出一致的性能，不受QUD类型的影响，而GPT-2则遇到了处理困难，因为某些类型的QUD需要语用推理才能进行蕴涵。研究结果表明，在理论方法方面，BERT本质上将语用蕴涵“not all”包含在术语“some”中，符合默认模型。相比之下，GPT-2在上下文中推断语用蕴涵时似乎遇到了处理困难，这与上下文驱动模型一致。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在理解和处理自然语言中的标量蕴涵（scalar implicature）现象时的能力。具体来说，关注模型如何解读像“some”这样的词语，是将其理解为逻辑上的“至少一些”，还是语用上的“并非全部”。现有方法缺乏对不同LLM（如BERT和GPT-2）在处理此类问题时内在机制差异的深入探究。

核心思路：论文的核心思路是通过设计实验，模拟人类在理解标量蕴涵时的认知过程，并观察LLM在类似情境下的表现。通过改变上下文信息（例如，引入“讨论中的问题”QUD），来考察模型是否能够根据上下文进行语用推理，从而推断出“some”的实际含义。

技术框架：研究采用了两种主要的实验方法：1) 使用余弦相似度来衡量模型对不同解释（例如，“some” vs. “all”）的偏好程度；2) 使用下一句/词预测任务，考察模型在给定上下文后，预测后续文本的能力，从而推断其对“some”的理解。整体流程包括：构建实验语料、使用BERT和GPT-2进行预测、分析模型的输出结果、并根据结果推断模型的推理机制。

关键创新：该研究的关键创新在于对比了BERT和GPT-2在处理标量蕴涵时的不同行为，并将其与两种主要的语用推理理论（默认模型和上下文驱动模型）联系起来。这为理解LLM的语用推理能力提供了新的视角。与现有方法相比，该研究更注重揭示不同模型内在机制的差异，而非仅仅评估其性能。

关键设计：实验中，关键的设计包括：1) 精心设计的实验语料，包含不同类型的QUD，以模拟不同的上下文情境；2) 使用余弦相似度作为衡量模型偏好的指标，能够更直接地反映模型对不同解释的倾向性；3) 对BERT和GPT-2的输出结果进行细致的分析，包括考察模型在不同QUD下的预测结果，以及分析模型在预测“some”之后的后续文本。

📊 实验亮点

实验结果表明，在没有上下文的情况下，BERT和GPT-2都倾向于将“some”解释为“not all”，与人类的语用推理一致。然而，在引入QUD作为上下文后，BERT表现出更稳定的性能，而GPT-2在某些类型的QUD下遇到了困难。这表明BERT更符合默认模型，而GPT-2更符合上下文驱动模型，揭示了二者在语用推理机制上的差异。

🎯 应用场景

该研究成果可应用于提升LLM在自然语言理解和生成任务中的语用推理能力，例如对话系统、问答系统和文本摘要。通过更好地理解人类语言的隐含含义，LLM可以生成更自然、更符合语境的回复，从而提高用户体验。此外，该研究也有助于开发更鲁棒的LLM，使其能够更好地应对歧义和不确定性。

📄 摘要（原文）

This study investigates how Large Language Models (LLMs), particularly BERT (Devlin et al., 2019) and GPT-2 (Radford et al., 2019), engage in pragmatic inference of scalar implicature, such as some. Two sets of experiments were conducted using cosine similarity and next sentence/token prediction as experimental methods. The results in experiment 1 showed that, both models interpret some as pragmatic implicature not all in the absence of context, aligning with human language processing. In experiment 2, in which Question Under Discussion (QUD) was presented as a contextual cue, BERT showed consistent performance regardless of types of QUDs, while GPT-2 encountered processing difficulties since a certain type of QUD required pragmatic inference for implicature. The findings revealed that, in terms of theoretical approaches, BERT inherently incorporates pragmatic implicature not all within the term some, adhering to Default model (Levinson, 2000). In contrast, GPT-2 seems to encounter processing difficulties in inferring pragmatic implicature within context, consistent with Context-driven model (Sperber and Wilson, 2002).