It's the same but not the same: Do LLMs distinguish Spanish varieties?

📄 arXiv: 2504.20049v1 📥 PDF

作者: Marina Mayor-Rocher, Cristina Pozo, Nina Melero, Gonzalo Martínez, María Grandury, Pedro Reviriego

分类: cs.CL

发布日期: 2025-04-08

备注: in Spanish language

期刊: SEPLN, 2025

💡 一句话要点

评估大型语言模型区分西班牙语变体的能力，发现GPT-4o表现最佳。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 西班牙语变体 地域语言学 自然语言处理 语言模型评估

📋 核心要点

  1. 大型语言模型在西班牙语理解和生成方面取得了显著进展，但西班牙语的地域变体给模型带来了挑战。
  2. 该研究通过多项选择题测试，评估了九个LLM区分七种西班牙语变体的能力，着重考察形态句法和词汇的识别。
  3. 实验结果表明，模型对半岛西班牙语的识别度最高，而GPT-4o是唯一能有效识别西班牙语变异性的模型。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在理解和生成西班牙语文本方面表现出很高的能力。然而，西班牙语拥有五亿母语使用者，并非一种同质的语言，而是在大西洋两岸存在丰富的地域变体。因此，本研究通过多项选择测试，评估了九个语言模型识别和区分七种西班牙语变体（安第斯、安的列斯、大陆加勒比、智利、半岛、墨西哥和中美洲以及拉普拉塔）的形态句法和词汇特征的能力。结果表明，半岛西班牙语变体是所有模型识别最好的，并且GPT-4o是唯一能够识别西班牙语变异性的模型。

🔬 方法详解

问题定义：该论文旨在评估大型语言模型（LLMs）区分不同地域西班牙语变体的能力。现有LLMs在处理西班牙语时，通常将其视为一种同质语言，忽略了其丰富的地域变异性，这可能导致模型在处理特定地域的西班牙语文本时表现不佳。

核心思路：该研究的核心思路是通过设计一个多项选择测试，考察LLMs对不同西班牙语变体中独特的形态句法和词汇特征的识别能力。通过分析模型在不同变体上的表现，评估其对西班牙语变异性的理解程度。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择七种具有代表性的西班牙语变体（安第斯、安的列斯、大陆加勒比、智利、半岛、墨西哥和中美洲以及拉普拉塔）；2) 构建包含不同变体特征的多项选择测试题；3) 选择九个主流LLMs进行测试；4) 分析模型在不同变体上的准确率，评估其区分能力。

关键创新：该研究的关键创新在于其针对西班牙语地域变异性，设计了一种评估LLMs区分能力的测试方法。以往的研究较少关注LLMs在处理语言变体方面的表现，该研究填补了这一空白，并为后续研究提供了参考。

关键设计：测试题的设计是关键。题目需要能够有效区分不同变体的独特特征，例如特定的词汇、语法结构或发音习惯。研究人员可能需要查阅相关文献，并咨询语言学专家，以确保测试题的有效性和代表性。此外，模型的选择也需要考虑其在西班牙语处理方面的能力和广泛性。

📊 实验亮点

实验结果表明，所有模型对半岛西班牙语的识别度最高，这可能反映了训练数据中半岛西班牙语的占比更高。值得注意的是，GPT-4o是唯一能够有效识别西班牙语变异性的模型，表明其在处理语言变体方面具有更强的能力。其他模型在区分不同变体方面表现不佳，表明它们对西班牙语的地域差异理解不足。

🎯 应用场景

该研究成果可应用于提升LLMs在西班牙语自然语言处理任务中的性能，尤其是在处理来自不同地域的西班牙语文本时。例如，可以用于改进机器翻译、情感分析、文本摘要等应用，使其能够更好地理解和生成符合特定地域习惯的西班牙语文本。此外，该研究也为开发更具地域适应性的LLMs提供了指导。

📄 摘要（原文）

In recent years, large language models (LLMs) have demonstrated a high capacity for understanding and generating text in Spanish. However, with five hundred million native speakers, Spanish is not a homogeneous language but rather one rich in diatopic variations spanning both sides of the Atlantic. For this reason, in this study, we evaluate the ability of nine language models to identify and distinguish the morphosyntactic and lexical peculiarities of seven varieties of Spanish (Andean, Antillean, Continental Caribbean, Chilean, Peninsular, Mexican and Central American and Rioplatense) through a multiple-choice test. The results indicate that the Peninsular Spanish variety is the best identified by all models and that, among them, GPT-4o is the only model capable of recognizing the variability of the Spanish language. -- En los últimos años, los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) han demostrado una alta capacidad para comprender y generar texto en español. Sin embargo, con quinientos millones de hablantes nativos, la española no es una lengua homogénea, sino rica en variedades diatópicas que se extienden a ambos lados del Atlántico. Por todo ello, evaluamos en este trabajo la capacidad de nueve modelos de lenguaje de identificar y discernir las peculiaridades morfosintácticas y léxicas de siete variedades de español (andino, antillano, caribeño continental, chileno, español peninsular, mexicano y centroamericano y rioplatense) mediante un test de respuesta múltiple. Los resultados obtenidos indican que la variedad de español peninsular es la mejor identificada por todos los modelos y que, de entre todos, GPT-4o es el único modelo capaz de identificar la variabilidad de la lengua española.