Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense

📄 arXiv: 2410.21573v2 📥 PDF

作者: Samuel Cahyawijaya, Ruochen Zhang, Holy Lovenia, Jan Christian Blaise Cruz, Elisa Gilbert, Hiroki Nomoto, Alham Fikri Aji

分类: cs.CL, cs.AI

发布日期: 2024-10-28 (更新: 2024-10-30)

💡 一句话要点

StingrayBench：揭示多语言大模型在跨语言词义消歧方面的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言大模型 跨语言词义消歧 假朋友 基准测试 语义偏差

📋 核心要点

  1. 现有跨语言语义评估不足，难以准确衡量多语言大模型在不同语言间的理解能力。
  2. 利用“假朋友”现象，构建StingrayBench基准测试，评估模型在区分跨语言同形异义词方面的能力。
  3. 实验表明，现有模型在跨语言词义消歧方面存在偏差，更倾向于高资源语言，需要改进。

📝 摘要（中文）

多语言大型语言模型（LLMs）日益重要，但其在英语以外的语言中的可靠性引发关注。本研究通过引入一个新的跨语言词义消歧基准测试StingrayBench，来弥补跨语言语义评估方面的空白。本文利用“假朋友”（在两种语言中拼写相似但含义完全不同的词）作为一种可能的方法，来精确定位LLMs在跨语言词义消歧方面的局限性。我们收集了四个语言对（印尼语-马来语、印尼语-他加禄语、汉语-日语和英语-德语）中的假朋友，并挑战LLMs区分它们在上下文中的使用。在对各种模型的分析中，我们观察到它们倾向于偏向于高资源语言。我们还提出了新的指标，用于量化基于我们基准测试的跨语言语义偏差和理解能力。我们的工作有助于开发更多样化和包容性的语言建模，从而为更广泛的多语言社区促进更公平的访问。

🔬 方法详解

问题定义：论文旨在评估多语言大型语言模型（LLMs）在跨语言词义消歧方面的能力。现有方法缺乏有效的跨语言语义评估基准，难以发现模型在不同语言间理解上的偏差，尤其是在处理“假朋友”这类同形异义词时，模型容易混淆。

核心思路：论文的核心思路是利用“假朋友”现象来测试LLMs的跨语言词义消歧能力。“假朋友”是指在不同语言中拼写相似但含义完全不同的词，例如英语的“gift”和德语的“Gift”（毒药）。通过构建包含“假朋友”的测试用例，可以有效地评估模型是否真正理解了上下文语境，而不是简单地依赖词形相似性。

技术框架：论文构建了一个名为StingrayBench的跨语言词义消歧基准测试。该基准包含四个语言对（印尼语-马来语、印尼语-他加禄语、汉语-日语和英语-德语）的“假朋友”词汇。测试流程是：给定一个包含“假朋友”的句子，要求LLM判断该词在该语境下的正确含义。同时，论文还提出了新的评估指标，用于量化模型的跨语言语义偏差和理解能力。

关键创新：论文的关键创新在于：1) 提出了利用“假朋友”评估跨语言词义消歧能力的新思路；2) 构建了StingrayBench基准测试，为该领域的研究提供了新的评估工具；3) 提出了量化跨语言语义偏差和理解能力的新指标。与现有方法相比，该方法更直接地针对了跨语言理解的难点，能够更有效地发现模型的局限性。

关键设计：StingrayBench基准测试的关键设计在于“假朋友”的选择和测试用例的构建。论文精心挑选了在不同语言对中含义差异较大的“假朋友”，并设计了包含这些词汇的自然语言句子，以确保测试的有效性和可靠性。此外，论文提出的评估指标，例如跨语言语义偏差指标，能够更细粒度地分析模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的多语言大型语言模型在StingrayBench基准测试上表现不佳，尤其是在处理低资源语言时，模型更容易受到高资源语言的影响，产生语义偏差。例如，模型在区分印尼语和马来语的“假朋友”时，表现明显不如英语和德语。这表明现有模型在跨语言词义消歧方面仍有很大的提升空间。

🎯 应用场景

该研究成果可应用于提升多语言大模型的跨语言理解能力，例如改进机器翻译、跨语言信息检索和多语言对话系统。通过更准确地理解不同语言的语义，可以减少翻译错误，提高信息检索的准确性，并使多语言对话系统更加自然流畅。该研究还有助于推动低资源语言的自然语言处理发展，促进语言资源的公平分配。

📄 摘要（原文）

Multilingual large language models (LLMs) have gained prominence, but concerns arise regarding their reliability beyond English. This study addresses the gap in cross-lingual semantic evaluation by introducing a novel benchmark for cross-lingual sense disambiguation, StingrayBench. In this paper, we demonstrate using false friends -- words that are orthographically similar but have completely different meanings in two languages -- as a possible approach to pinpoint the limitation of cross-lingual sense disambiguation in LLMs. We collect false friends in four language pairs, namely Indonesian-Malay, Indonesian-Tagalog, Chinese-Japanese, and English-German; and challenge LLMs to distinguish the use of them in context. In our analysis of various models, we observe they tend to be biased toward higher-resource languages. We also propose new metrics for quantifying the cross-lingual sense bias and comprehension based on our benchmark. Our work contributes to developing more diverse and inclusive language modeling, promoting fairer access for the wider multilingual community.