Multilingual Relative Clause Attachment Ambiguity Resolution in Large Language Models

📄 arXiv: 2503.02971v1 📥 PDF

作者: So Young Lee, Russell Scheinberg, Amber Shore, Ameeta Agrawal

分类: cs.CL

发布日期: 2025-03-04

备注: Accepted at PACLIC 2024

💡 一句话要点

研究大型语言模型在多语种环境下关系从句附着歧义消解能力，揭示其跨语言处理差异。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 关系从句附着 多语种处理 歧义消解 句法分析

📋 核心要点

  1. 现有大型语言模型在处理多语种关系从句附着歧义时，缺乏对不同语言结构差异的有效建模。
  2. 该研究通过分析RC长度和DP句法位置等因素，评估LLM在多种语言中消解歧义的能力，并与人类表现对比。
  3. 实验表明，LLM在印欧语系表现较好，但在亚洲语言中存在困难，提示模型需要针对非欧洲语言进行改进。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）如何解决关系从句（RC）附着歧义，并将其性能与人类句子处理进行比较。研究重点关注两个语言因素：RC的长度和复杂限定词短语（DPs）的句法位置，评估LLMs是否能在复杂的语言环境中实现类似人类的解释。我们评估了包括Claude、Gemini和Llama在内的多个LLMs在多种语言中的表现：英语、西班牙语、法语、德语、日语和韩语。虽然这些模型在印欧语系语言（英语、西班牙语、法语和德语）中表现良好，但在亚洲语言（日语和韩语）中遇到了困难，经常默认使用不正确的英语翻译。研究结果强调了LLMs在处理语言歧义方面的差异，并强调需要改进模型，特别是对于非欧洲语言。这项研究为未来LLM设计的改进提供了信息，以提高不同语言环境中的准确性和类人处理能力。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在处理多语种关系从句（RC）附着歧义时的能力。现有的LLMs在处理不同语言的复杂句法结构时，尤其是在非印欧语系语言中，表现出与人类不同的附着偏好，这表明它们可能无法充分理解和处理这些语言的细微差别。这种差异可能导致模型在机器翻译、文本理解等任务中产生错误或不准确的结果。

核心思路：论文的核心思路是通过系统地评估LLMs在不同语言中对RC附着歧义的处理方式，来揭示其语言理解能力的局限性。具体而言，研究人员设计了一系列包含RC附着歧义的句子，并控制了RC的长度和复杂限定词短语（DPs）的句法位置这两个关键因素。通过分析LLMs对这些句子的解释，研究人员可以了解模型在不同语言中如何权衡这些因素，以及其附着偏好是否与人类相似。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择多种语言（英语、西班牙语、法语、德语、日语和韩语）作为研究对象；2) 设计包含RC附着歧义的句子，并控制RC长度和DP句法位置；3) 选择多个LLMs（Claude、Gemini和Llama）进行评估；4) 分析LLMs对句子的解释，并与人类的附着偏好进行比较。研究人员可能使用了诸如困惑度（perplexity）或生成概率等指标来衡量LLMs对不同附着选项的偏好。

关键创新：该研究的关键创新在于其对LLMs在多语种环境下处理RC附着歧义能力的系统性评估。以往的研究可能主要关注LLMs在英语等单一语言中的表现，而该研究则扩展到了多种语言，特别是包括了日语和韩语等非印欧语系语言。通过比较LLMs在不同语言中的表现，研究人员可以更全面地了解其语言理解能力的优势和不足。此外，该研究还关注了RC长度和DP句法位置等关键语言因素，这有助于更深入地了解LLMs如何处理复杂的句法结构。

关键设计：论文的关键设计包括：1) 句子设计的严谨性，确保句子包含明确的RC附着歧义，并控制了RC长度和DP句法位置等关键因素；2) 语言选择的多样性，涵盖了印欧语系和非印欧语系语言，以便比较LLMs在不同语言中的表现；3) 模型选择的代表性，选择了多个具有代表性的LLMs（Claude、Gemini和Llama）进行评估；4) 评估指标的合理性，可能使用了困惑度或生成概率等指标来衡量LLMs对不同附着选项的偏好。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在印欧语系语言（英语、西班牙语、法语和德语）中表现相对较好，但在亚洲语言（日语和韩语）中表现较差，经常出现不正确的英语翻译。这表明LLM在处理不同语言的句法结构和语义信息时存在差异，需要针对非欧洲语言进行改进。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于改进多语言自然语言处理系统，例如机器翻译和跨语言信息检索。通过了解LLM在不同语言中处理歧义的局限性，可以开发更有效的模型训练方法和数据增强技术，提高模型在各种语言环境下的准确性和鲁棒性。此外，该研究还可以指导LLM的设计，使其更好地适应不同语言的特点，从而实现更自然、更流畅的跨语言交流。

📄 摘要（原文）

This study examines how large language models (LLMs) resolve relative clause (RC) attachment ambiguities and compares their performance to human sentence processing. Focusing on two linguistic factors, namely the length of RCs and the syntactic position of complex determiner phrases (DPs), we assess whether LLMs can achieve human-like interpretations amid the complexities of language. In this study, we evaluated several LLMs, including Claude, Gemini and Llama, in multiple languages: English, Spanish, French, German, Japanese, and Korean. While these models performed well in Indo-European languages (English, Spanish, French, and German), they encountered difficulties in Asian languages (Japanese and Korean), often defaulting to incorrect English translations. The findings underscore the variability in LLMs' handling of linguistic ambiguities and highlight the need for model improvements, particularly for non-European languages. This research informs future enhancements in LLM design to improve accuracy and human-like processing in diverse linguistic environments.