Quantifier Scope Interpretation in Language Learners and LLMs

📄 arXiv: 2509.10860v1 📥 PDF

作者: Shaohua Fang, Yue Li, Yan Cong

分类: cs.CL

发布日期: 2025-09-13

💡 一句话要点

研究表明，大型语言模型在量词辖域解释上与人类存在相似性，但受预训练数据影响。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量词辖域解释 大型语言模型 跨语言研究 人类相似性 语义理解

📋 核心要点

  1. 多量词语句的歧义性给语言学习和自然语言处理带来挑战，现有方法难以准确模拟人类的理解。
  2. 本研究通过概率评估和人类相似性评分，分析LLMs在英汉两种语言中量词辖域解释的表现。
  3. 实验表明，LLMs在表层辖域解释上与人类相似，但逆辖域偏好受预训练数据影响，存在模型差异。

📝 摘要（中文）

本文采用跨语言的方法，研究了大型语言模型（LLMs）如何处理英语和汉语中的量词辖域解释，使用概率来评估解释的可能性。使用人类相似性（HS）分数来量化LLMs在不同语言群体中模拟人类表现的程度。结果表明，大多数LLMs倾向于表层辖域解释，这与人类的倾向一致，而只有一些LLMs在逆辖域偏好方面区分英语和汉语，反映了与人类相似的模式。HS分数突出了LLMs在逼近人类行为方面的差异，但它们与人类保持一致的总体潜力是值得注意的。模型架构、规模，特别是模型的预训练数据语言背景，显著影响LLMs逼近人类量词辖域解释的程度。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在处理包含多个量词的句子时，如何进行辖域解释。这类句子通常具有歧义性，不同的辖域解释会产生不同的语义。现有方法，特别是传统的基于规则或统计模型的自然语言处理方法，难以准确模拟人类在不同语言中的辖域解释偏好，尤其是在跨语言的场景下。

核心思路：论文的核心思路是利用LLMs的概率输出来评估不同辖域解释的可能性，并使用人类相似性（HS）分数来量化LLMs的解释与人类解释的相似程度。通过比较LLMs在英语和汉语中的表现，研究其跨语言的辖域解释能力，并分析模型架构、规模和预训练数据对结果的影响。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建包含多量词歧义句的英语和汉语测试集；2) 使用不同的LLMs（例如，不同架构、规模和预训练数据的模型）对测试集中的句子进行处理，并记录LLMs对不同辖域解释的概率输出；3) 计算LLMs的辖域解释偏好，例如，表层辖域和逆辖域的偏好；4) 使用人类相似性（HS）分数来量化LLMs的解释与人类解释的相似程度；5) 分析模型架构、规模和预训练数据对LLMs辖域解释能力的影响。

关键创新：该研究的关键创新在于：1) 采用了一种基于概率的量化方法来评估LLMs的辖域解释能力，避免了传统方法中对辖域解释的硬性判断；2) 使用人类相似性（HS）分数来量化LLMs的解释与人类解释的相似程度，提供了一种更细粒度的评估指标；3) 通过跨语言的比较，揭示了LLMs在不同语言中的辖域解释差异，并分析了模型架构、规模和预训练数据对结果的影响。

关键设计：论文的关键设计包括：1) 精心设计的包含多量词歧义句的英语和汉语测试集，确保测试的有效性和可靠性；2) 选择具有代表性的LLMs，例如，不同架构（Transformer、RNN等）、规模（参数量）和预训练数据（英语、汉语、多语言）的模型；3) 使用合适的概率计算方法来评估LLMs对不同辖域解释的偏好；4) 使用标准化的人类相似性（HS）分数来量化LLMs的解释与人类解释的相似程度。

📊 实验亮点

实验结果表明，大多数LLMs倾向于表层辖域解释，与人类的倾向一致。部分LLMs在逆辖域偏好方面区分英语和汉语，反映了与人类相似的模式。人类相似性（HS）分数显示，LLMs在逼近人类行为方面存在差异，但总体潜力显著。模型架构、规模和预训练数据语言背景显著影响LLMs逼近人类量词辖域解释的程度。

🎯 应用场景

该研究成果可应用于提升自然语言处理系统的语义理解能力，特别是在处理歧义语句时。例如，可以用于改进机器翻译、问答系统和对话系统的性能，使其能够更准确地理解用户的意图。此外，该研究还可以帮助我们更好地理解LLMs的语言学习机制，并为LLMs的设计和训练提供指导。

📄 摘要（原文）

Sentences with multiple quantifiers often lead to interpretive ambiguities, which can vary across languages. This study adopts a cross-linguistic approach to examine how large language models (LLMs) handle quantifier scope interpretation in English and Chinese, using probabilities to assess interpretive likelihood. Human similarity (HS) scores were used to quantify the extent to which LLMs emulate human performance across language groups. Results reveal that most LLMs prefer the surface scope interpretations, aligning with human tendencies, while only some differentiate between English and Chinese in the inverse scope preferences, reflecting human-similar patterns. HS scores highlight variability in LLMs' approximation of human behavior, but their overall potential to align with humans is notable. Differences in model architecture, scale, and particularly models' pre-training data language background, significantly influence how closely LLMs approximate human quantifier scope interpretations.