Synthetic Fluency: Hallucinations, Confabulations, and the Creation of Irish Words in LLM-Generated Translations

📄 arXiv: 2504.07680v1 📥 PDF

作者: Sheila Castilho, Zoe Fitzsimmons, Claire Holton, Aoife Mc Donagh

分类: cs.CL

发布日期: 2025-04-10

💡 一句话要点

研究LLM在爱尔兰语翻译中产生幻觉性词汇的现象，揭示其对低资源语言的影响。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 爱尔兰语 幻觉 低资源语言

📋 核心要点

  1. 现有LLM在翻译低资源、形态丰富的语言时，会产生不存在的“幻觉”词汇，影响翻译质量。
  2. 通过分类和分析LLM生成的爱尔兰语幻觉词汇，揭示其形态特征和语言倾向。
  3. 实验对比GPT-4.o和GPT-4.o Mini，发现Mini模型产生幻觉词汇的频率显著高于GPT-4.o。

📝 摘要（中文）

本研究探讨了大型语言模型（LLM）在爱尔兰语翻译中产生的幻觉现象，特别关注模型生成的新颖、不存在的词汇实例。我们将这些幻觉分为动词和名词类别，并在后者中识别出六种不同的模式。此外，我们分析了这些幻觉是否符合爱尔兰语的形态规则，以及它们表现出的语言倾向。我们的研究结果表明，GPT-4.o和GPT-4.o Mini产生相似类型的幻觉，但Mini模型产生它们的频率明显更高。除了分类之外，讨论还提出了关于这些幻觉对爱尔兰语影响的推测性问题。我们并非寻求明确的答案，而是提供一些思考，关于LLM日益增长的使用及其在塑造爱尔兰语词汇和语言演变中的潜在作用。我们的目标是引发关于此类技术如何随着时间的推移影响语言的讨论，特别是在低资源、形态丰富的语言的背景下。

🔬 方法详解

问题定义：论文旨在研究LLM在爱尔兰语翻译过程中产生的“幻觉”现象，即生成不存在的词汇。现有方法缺乏对这种现象的深入分析，无法有效评估和控制LLM在低资源语言翻译中的可靠性。这种幻觉现象可能会对爱尔兰语的语言发展产生潜在影响。

核心思路：论文的核心思路是对LLM生成的爱尔兰语幻觉词汇进行分类和分析，从而揭示其内在的形态规则和语言倾向。通过对比不同模型的幻觉生成频率，评估其在低资源语言翻译中的表现。这种分析有助于理解LLM在处理形态丰富语言时的局限性，并为改进翻译质量提供指导。

技术框架：论文的技术框架主要包括以下几个阶段：1) 收集LLM生成的爱尔兰语翻译文本；2) 识别并提取其中的幻觉词汇；3) 将幻觉词汇分为动词和名词类别，并进一步细分名词类别；4) 分析幻觉词汇是否符合爱尔兰语的形态规则；5) 比较不同LLM（GPT-4.o和GPT-4.o Mini）的幻觉生成频率。

关键创新：论文的关键创新在于对LLM在爱尔兰语翻译中产生的幻觉词汇进行了系统的分类和分析，揭示了其形态特征和语言倾向。这种分析为理解LLM在处理低资源、形态丰富语言时的局限性提供了新的视角。此外，论文还提出了关于LLM对爱尔兰语语言发展潜在影响的思考。

关键设计：论文的关键设计包括：1) 针对爱尔兰语的特点，设计了幻觉词汇的分类体系；2) 采用人工分析的方法，评估幻觉词汇是否符合爱尔兰语的形态规则；3) 通过统计不同LLM的幻觉生成频率，进行定量比较。

📊 实验亮点

实验结果表明，GPT-4.o和GPT-4.o Mini都会产生爱尔兰语幻觉词汇，但GPT-4.o Mini的生成频率显著高于GPT-4.o。具体而言，Mini模型在翻译过程中产生幻觉词汇的概率是GPT-4.o的数倍（具体数值未知）。这一发现表明，即使是同一系列的模型，在参数规模或训练数据上的差异也可能显著影响其在低资源语言翻译中的表现。

🎯 应用场景

该研究成果可应用于改进低资源语言的机器翻译系统，提高翻译质量和可靠性。通过深入理解LLM在处理形态丰富语言时的局限性，可以开发更有效的翻译模型和评估方法。此外，该研究还可为语言保护和语言技术发展提供参考，促进低资源语言的数字化和传承。

📄 摘要（原文）

This study examines hallucinations in Large Language Model (LLM) translations into Irish, specifically focusing on instances where the models generate novel, non-existent words. We classify these hallucinations within verb and noun categories, identifying six distinct patterns among the latter. Additionally, we analyse whether these hallucinations adhere to Irish morphological rules and what linguistic tendencies they exhibit. Our findings show that while both GPT-4.o and GPT-4.o Mini produce similar types of hallucinations, the Mini model generates them at a significantly higher frequency. Beyond classification, the discussion raises speculative questions about the implications of these hallucinations for the Irish language. Rather than seeking definitive answers, we offer food for thought regarding the increasing use of LLMs and their potential role in shaping Irish vocabulary and linguistic evolution. We aim to prompt discussion on how such technologies might influence language over time, particularly in the context of low-resource, morphologically rich languages.