Investigating Hallucination in Conversations for Low Resource Languages

📄 arXiv: 2507.22720v2 📥 PDF

作者: Amit Das, Md. Najib Hasan, Souvika Sarkar, Zheng Zhang, Fatemeh Jamshidi, Tathagata Bhattacharya, Nilanjana Raychawdhury, Dongji Feng, Vinija Jain, Aman Chadha

分类: cs.CL

发布日期: 2025-07-30 (更新: 2025-11-19)

💡 一句话要点

针对低资源语言对话场景，研究大型语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉问题 低资源语言 对话系统 印地语 波斯语 普通话 事实错误

📋 核心要点

  1. 现有大型语言模型在生成文本时存在幻觉问题，尤其是在低资源语言中，这限制了其可靠性。
  2. 该研究针对印地语、波斯语和普通话三种语言，分析了多个LLM在对话数据中产生的幻觉现象。
  3. 实验结果表明，不同语言的幻觉程度存在显著差异，普通话幻觉较少，印地语和波斯语幻觉较多。

📝 摘要（中文）

大型语言模型（LLMs）在生成类人文本方面表现出卓越的能力。然而，它们经常产生不符合事实的陈述，这个问题通常被称为“幻觉”。解决幻觉问题对于提高LLMs的可靠性和有效性至关重要。虽然大量研究集中在英语中的幻觉现象，但本研究将调查范围扩展到三种语言的对话数据：印地语、波斯语和普通话。我们对一个数据集进行了全面的分析，以检查GPT-3.5、GPT-4o、Llama-3.1、Gemma-2.0、DeepSeek-R1和Qwen-3在这些语言中的事实和语言错误。研究发现，LLMs在普通话中产生的幻觉响应非常少，但在印地语和波斯语中产生的幻觉数量明显更多。

🔬 方法详解

问题定义：论文旨在研究大型语言模型在低资源语言（印地语、波斯语）的对话场景中出现的幻觉问题。现有方法主要集中在英语等高资源语言，对低资源语言的幻觉现象研究不足，导致LLM在这些语言中的应用受到限制。现有方法缺乏对不同语言特性与幻觉之间关系的深入理解。

核心思路：论文的核心思路是通过构建和分析多语言对话数据集，评估不同LLM在不同语言中的幻觉程度，并分析语言特性与幻觉之间的关系。通过对比不同模型的表现，找出在低资源语言中更易产生幻觉的因素，从而为改进LLM在这些语言中的性能提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 构建包含印地语、波斯语和普通话的对话数据集。2) 选择GPT-3.5、GPT-4o、Llama-3.1、Gemma-2.0、DeepSeek-R1和Qwen-3等多个LLM进行实验。3) 使用特定的评估指标（具体指标未知）评估LLM生成的对话文本中的幻觉程度，包括事实错误和语言错误。4) 分析不同语言和不同模型之间的幻觉差异，并尝试找出导致这些差异的原因。

关键创新：该研究的关键创新在于首次系统性地研究了LLM在印地语、波斯语和普通话等低资源语言的对话场景中的幻觉问题。通过对比分析不同语言和不同模型的表现，揭示了语言特性与幻觉之间的潜在关系，为后续研究提供了新的视角。

关键设计：论文的关键设计包括：数据集的构建方式（如何保证数据的质量和多样性，未知），幻觉评估指标的选择（如何准确衡量事实错误和语言错误，未知），以及实验的对比设置（如何控制变量，保证实验的公平性，未知）。具体的参数设置、损失函数、网络结构等技术细节未在摘要中提及，因此未知。

📊 实验亮点

实验结果表明，LLMs在普通话中产生的幻觉响应非常少，但在印地语和波斯语中产生的幻觉数量明显更多。这表明语言特性对LLM的幻觉程度有显著影响。具体的性能数据和提升幅度未在摘要中给出，因此未知。

🎯 应用场景

该研究成果可应用于改进低资源语言的对话系统，提高LLM在这些语言中的可靠性和实用性。例如，可以用于开发更准确的智能客服、聊天机器人和内容生成工具。此外，该研究还可以为LLM的开发人员提供指导，帮助他们设计出更适合低资源语言的模型。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable proficiency in generating text that closely resemble human writing. However, they often generate factually incorrect statements, a problem typically referred to as 'hallucination'. Addressing hallucination is crucial for enhancing the reliability and effectiveness of LLMs. While much research has focused on hallucinations in English, our study extends this investigation to conversational data in three languages: Hindi, Farsi, and Mandarin. We offer a comprehensive analysis of a dataset to examine both factual and linguistic errors in these languages for GPT-3.5, GPT-4o, Llama-3.1, Gemma-2.0, DeepSeek-R1 and Qwen-3. We found that LLMs produce very few hallucinated responses in Mandarin but generate a significantly higher number of hallucinations in Hindi and Farsi.