Multilingual Hallucination Gaps in Large Language Models

📄 arXiv: 2410.18270v1 📥 PDF

作者: Cléa Chataigner, Afaf Taïk, Golnoosh Farnadi

分类: cs.CL

发布日期: 2024-10-23

💡 一句话要点

揭示大型语言模型在多语言生成中存在的幻觉差异现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多语言处理 幻觉问题 FactScore 自然语言生成

📋 核心要点

  1. 大型语言模型在多语言场景下生成文本时，会产生幻觉现象，即生成不真实或不准确的信息，这限制了其可靠性。
  2. 该研究通过扩展FactScore指标到多语言环境，量化不同语言下LLM生成文本的幻觉程度，从而揭示多语言幻觉差距。
  3. 实验结果表明，不同语言之间存在幻觉率的差异，尤其是在高资源和低资源语言之间，突显了多语言LLM评估的挑战。

📝 摘要（中文）

大型语言模型（LLMs）因其生成类似人类语言文本的能力，正日益成为传统搜索引擎的替代品。然而，这种转变令人担忧，因为LLMs经常产生幻觉，即生成看似可信的误导性或虚假信息。本研究探讨了自由文本生成中跨多种语言的幻觉现象，重点关注我们称之为多语言幻觉差距的现象。这些差距反映了根据提示和所用语言，幻觉答案频率的差异。为了量化这些幻觉，我们使用了FactScore指标，并将其框架扩展到多语言环境。我们使用LLaMA、Qwen和Aya系列的LLMs进行了实验，生成了19种语言的传记，并将结果与维基百科页面进行了比较。我们的结果揭示了幻觉率的变化，尤其是在高资源和低资源语言之间，这引发了关于LLM多语言性能的重要问题，以及评估多语言自由文本生成中幻觉的挑战。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在多语言自由文本生成中存在的幻觉问题。现有方法缺乏对不同语言之间幻觉差异的有效量化和分析，导致无法充分了解和解决LLM在多语言环境下的可靠性问题。

核心思路：论文的核心思路是扩展现有的FactScore指标，使其能够应用于多语言环境，从而量化不同语言下LLM生成文本的幻觉程度。通过比较不同语言的幻觉率，揭示多语言幻觉差距，并分析其潜在原因。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择LLaMA、Qwen和Aya等LLM作为实验对象；2) 使用这些LLM生成19种语言的传记文本；3) 将生成的文本与维基百科页面进行比较，使用扩展后的FactScore指标计算幻觉率；4) 分析不同语言之间的幻觉率差异，揭示多语言幻觉差距。

关键创新：该研究的关键创新在于将FactScore指标扩展到多语言环境，使其能够用于量化不同语言下LLM生成文本的幻觉程度。此外，该研究还揭示了多语言幻觉差距，即不同语言之间存在幻觉率的差异，这为进一步研究和解决LLM在多语言环境下的可靠性问题提供了新的视角。

关键设计：该研究的关键设计包括：1) 选择具有代表性的LLM（LLaMA、Qwen和Aya）作为实验对象；2) 选择19种不同资源程度的语言，以涵盖高资源和低资源语言；3) 使用FactScore指标，该指标通过比较生成文本与知识库（如维基百科）来评估文本的事实性；4) 对FactScore进行必要的调整，以适应多语言环境，例如考虑不同语言的语法和语义差异。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，不同语言之间存在显著的幻觉率差异，尤其是在高资源语言和低资源语言之间。例如，某些低资源语言的幻觉率明显高于高资源语言。该研究还发现，不同的LLM在不同语言上的幻觉表现也存在差异，这表明LLM的多语言能力仍有待提高。

🎯 应用场景

该研究成果可应用于提升多语言大型语言模型的可靠性和可信度，尤其是在需要生成准确信息的场景中，如机器翻译、跨语言信息检索、多语言内容创作等。通过了解和解决多语言幻觉差距，可以提高LLM在不同语言环境下的性能，促进其在更广泛领域的应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly used as alternatives to traditional search engines given their capacity to generate text that resembles human language. However, this shift is concerning, as LLMs often generate hallucinations, misleading or false information that appears highly credible. In this study, we explore the phenomenon of hallucinations across multiple languages in freeform text generation, focusing on what we call multilingual hallucination gaps. These gaps reflect differences in the frequency of hallucinated answers depending on the prompt and language used. To quantify such hallucinations, we used the FactScore metric and extended its framework to a multilingual setting. We conducted experiments using LLMs from the LLaMA, Qwen, and Aya families, generating biographies in 19 languages and comparing the results to Wikipedia pages. Our results reveal variations in hallucination rates, especially between high and low resource languages, raising important questions about LLM multilingual performance and the challenges in evaluating hallucinations in multilingual freeform text generation.