Does GPT-4 surpass human performance in linguistic pragmatics?

📄 arXiv: 2312.09545v2 📥 PDF

作者: Ljubisa Bojic, Predrag Kovacevic, Milan Cabarkapa

分类: cs.CL, cs.AI, cs.CY

发布日期: 2023-12-15 (更新: 2025-08-24)

备注: 19 pages, 1 figure, 2 tables

💡 一句话要点

GPT-4在语言语用学理解上超越人类表现，展现通用AI潜力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言语用学 大型语言模型 GPT-4 格莱斯原则 对话理解

📋 核心要点

  1. 现有方法在处理需要理解语境和隐含意义的语言语用学任务时存在不足，难以准确捕捉人类的真实意图。
  2. 本研究利用格莱斯通信原则，通过对话任务评估LLMs和人类在语言语用学理解上的表现，对比二者能力。
  3. 实验结果表明，GPT-4在语言语用学理解上超越了人类，证明了LLMs在模拟人类理解方面的显著进步。

📝 摘要（中文）

本研究考察了大型语言模型（LLMs）在理解语言语用学方面的能力，语言语用学涉及语境和隐含意义。我们使用格莱斯通信原则，在基于对话的任务中评估了LLMs（GPT-2、GPT-3、GPT-3.5、GPT-4和Bard）和人类受试者（N = 147）。人类参与者包括71名塞尔维亚学生和76名来自美国的英语母语者。研究结果表明，LLMs，特别是GPT-4，优于人类。GPT-4取得了最高的4.80分，超过了人类的最佳得分4.55。其他LLMs表现良好：GPT 3.5得分4.10，Bard 3.75，GPT-3 3.25。GPT-2得分最低，为1.05。LLM的平均得分为3.39，超过了人类组的平均得分2.80（塞尔维亚学生）和2.34（美国参与者）。在所有155名受试者（包括LLMs和人类）的排名中，GPT-4位居榜首，而最佳人类排名第二。这些结果突出了LLMs在模拟理解语言语用学方面的显著进展。未来的研究应通过更多的基于对话的任务和不同的参与者来证实这些发现。这项研究对于推进各种以沟通为中心的任务中的通用AI模型具有重要意义，包括未来在人形机器人中的潜在应用。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在理解语言语用学方面的能力。现有的自然语言处理模型在处理需要理解语境、隐含意义和言外之意的对话时，往往表现出不足，无法像人类一样准确地把握对话的真实意图。这限制了它们在需要复杂沟通的场景中的应用。

核心思路：论文的核心思路是利用格莱斯通信原则作为评估LLMs语言语用学理解能力的基准。格莱斯原则描述了人类在对话中遵循的一些基本准则，例如合作、质量、数量和关系。通过设计基于对话的任务，并根据LLMs是否能正确理解和应用这些原则来评估其性能。

技术框架：该研究的技术框架主要包括以下几个阶段：1）设计基于对话的任务，这些任务需要参与者理解语境、推断隐含意义并遵循格莱斯通信原则。2）选择多个LLMs（GPT-2、GPT-3、GPT-3.5、GPT-4和Bard）以及人类受试者参与实验。3）评估LLMs和人类受试者在完成对话任务时的表现，并根据预定义的评分标准进行评分。4）对LLMs和人类受试者的得分进行统计分析，比较它们的性能差异。

关键创新：该研究的关键创新在于直接对比了最先进的LLMs（特别是GPT-4）与人类在语言语用学理解上的表现，并发现GPT-4在某些方面超越了人类。这表明LLMs在模拟人类认知能力方面取得了显著进展。此外，该研究使用格莱斯通信原则作为评估LLMs语言理解能力的理论基础，为未来的研究提供了一个有价值的框架。

关键设计：实验设计包括精心设计的对话场景，这些场景旨在考察参与者对格莱斯原则的理解和应用。评分标准基于LLMs和人类受试者在对话中是否能正确理解语境、推断隐含意义以及遵循格莱斯原则。研究中使用了多个LLMs，以便比较不同模型的性能。人类受试者包括来自不同文化背景的人群，以评估文化差异对语言语用学理解的影响。没有提及具体的参数设置、损失函数或网络结构，因为该研究主要关注的是LLMs的输出结果，而不是其内部机制。

📊 实验亮点

实验结果显示，GPT-4在语言语用学理解方面取得了4.80的最高分，超越了人类的最佳得分4.55。其他LLMs如GPT-3.5和Bard也表现良好，分别取得了4.10和3.75分。LLMs的平均得分3.39也高于人类受试者的平均得分（塞尔维亚学生2.80，美国参与者2.34）。这些数据表明，LLMs在模拟人类语言理解方面取得了显著进展，GPT-4尤其突出。

🎯 应用场景

该研究成果对通用人工智能模型的开发具有重要意义，尤其是在需要复杂沟通的领域，如智能客服、虚拟助手和教育机器人。未来，这些模型可以应用于人形机器人，使其能够更自然、更有效地与人类进行交互，从而在医疗、养老等领域发挥更大的作用。

📄 摘要（原文）

As Large Language Models (LLMs) become increasingly integrated into everyday life as general purpose multimodal AI systems, their capabilities to simulate human understanding are under examination. This study investigates LLMs ability to interpret linguistic pragmatics, which involves context and implied meanings. Using Grice communication principles, we evaluated both LLMs (GPT-2, GPT-3, GPT-3.5, GPT-4, and Bard) and human subjects (N = 147) on dialogue-based tasks. Human participants included 71 primarily Serbian students and 76 native English speakers from the United States. Findings revealed that LLMs, particularly GPT-4, outperformed humans. GPT4 achieved the highest score of 4.80, surpassing the best human score of 4.55. Other LLMs performed well: GPT 3.5 scored 4.10, Bard 3.75, and GPT-3 3.25. GPT-2 had the lowest score of 1.05. The average LLM score was 3.39, exceeding the human cohorts averages of 2.80 (Serbian students) and 2.34 (U.S. participants). In the ranking of all 155 subjects (including LLMs and humans), GPT-4 secured the top position, while the best human ranked second. These results highlight significant progress in LLMs ability to simulate understanding of linguistic pragmatics. Future studies should confirm these findings with more dialogue-based tasks and diverse participants. This research has important implications for advancing general-purpose AI models in various communication-centered tasks, including potential application in humanoid robots in the future.