Towards an Analysis of Discourse and Interactional Pragmatic Reasoning Capabilities of Large Language Models

📄 arXiv: 2408.03074v1 📥 PDF

作者: Amelie Robrecht, Judith Sieker, Clara Lachenmaier, Sina Zarieß, Stefan Kopp

分类: cs.CL

发布日期: 2024-08-06

💡 一句话要点

综述性分析：大型语言模型在语篇和互动语用推理能力上的研究进展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语用学 语篇语用学 互动语用学 自然语言处理

📋 核心要点

  1. 现有大型语言模型（LLMs）的语用能力评估缺乏系统性的梳理和分类，难以全面了解其优势与不足。
  2. 论文将语用学细分为语篇语用学和互动语用学，并以此为基础，对LLMs的语用能力进行综述性分析。
  3. 论文旨在提供一个关于LLMs语用能力测试的概览，并为未来研究提供一个结构化的参考框架。

📝 摘要（中文）

本文旨在概述大型语言模型（LLMs）中已测试的语用能力，以及这些测试的执行方式。为此，我们首先讨论了语用学领域的范围，并建议将其细分为语篇语用学和互动语用学。我们对这两个子领域的现象以及传统上用于分析它们的方法进行了非详尽的概述。随后，我们将由此产生的异构现象和方法集合视为我们对LLM背景下语篇语用学和互动语用学研究进行调查的起点。

🔬 方法详解

问题定义：当前对大型语言模型（LLMs）的语用能力评估缺乏统一的标准和方法，导致难以系统性地理解LLMs在不同语用任务上的表现。现有的研究往往关注特定语用现象，缺乏对语篇语用学和互动语用学这两个主要分支的全面考察。

核心思路：论文的核心思路是将语用学领域划分为语篇语用学和互动语用学，并以此为框架，对LLMs在各个子领域的语用能力进行系统性的梳理和分析。通过考察LLMs在不同语用现象上的表现，可以更全面地了解其语用推理能力。

技术框架：论文采用综述性的研究方法，首先对语用学的范围进行界定，并提出语篇语用学和互动语用学的分类。然后，对这两个子领域的典型现象和传统分析方法进行概述。最后，以这些现象和方法为基础，对LLMs在语篇语用学和互动语用学方面的研究进行调查和总结。

关键创新：论文的主要创新在于提出了一个结构化的框架，用于分析LLMs的语用能力。通过将语用学划分为语篇语用学和互动语用学，可以更清晰地了解LLMs在不同语用任务上的表现。此外，论文还对LLMs的语用能力测试方法进行了综述，为未来的研究提供了参考。

关键设计：论文没有涉及具体的模型设计或参数设置，而侧重于对现有研究的梳理和分类。其关键在于对语用学领域的划分，以及对不同语用现象和分析方法的选择。这些选择为后续的分析提供了理论基础和实践指导。

📊 实验亮点

该论文提供了一个关于大型语言模型语用能力的全面概述，并提出了一个结构化的框架用于分析这些能力。它总结了现有研究中使用的各种测试方法，并指出了LLMs在语篇语用学和互动语用学方面的优势和不足。该综述为未来研究提供了一个有价值的起点。

🎯 应用场景

该研究为开发更智能、更具人情味的对话系统奠定了基础。通过深入了解LLMs的语用能力，可以改进其在自然语言理解、对话生成和人机交互等方面的性能，使其能够更好地理解人类意图、适应不同的语境，并进行更有效的沟通。

📄 摘要（原文）

In this work, we want to give an overview on which pragmatic abilities have been tested in LLMs so far and how these tests have been carried out. To do this, we first discuss the scope of the field of pragmatics and suggest a subdivision into discourse pragmatics and interactional pragmatics. We give a non-exhaustive overview of the phenomena of those two subdomains and the methods traditionally used to analyze them. We subsequently consider the resulting heterogeneous set of phenomena and methods as a starting point for our survey of work on discourse pragmatics and interactional pragmatics in the context of LLMs.