AILS-NTUA at SemEval-2025 Task 3: Leveraging Large Language Models and Translation Strategies for Multilingual Hallucination Detection

📄 arXiv: 2503.02442v1 📥 PDF

作者: Dimitra Karkani, Maria Lymperaiou, Giorgos Filandrianos, Nikolaos Spanos, Athanasios Voulodimos, Giorgos Stamou

分类: cs.CL

发布日期: 2025-03-04

期刊: The 19th International Workshop on Semantic Evaluation (SemEval 2025)

💡 一句话要点

利用大语言模型和翻译策略解决多语言幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言幻觉检测 大语言模型 机器翻译 零样本学习 提示工程

📋 核心要点

  1. 多语言幻觉检测面临数据稀缺和语言差异带来的挑战，现有方法难以有效处理。
  2. 该论文提出一种基于翻译的零样本方法，将多种语言翻译成英语，利用大语言模型进行幻觉检测。
  3. 实验表明，该方法在多种语言上表现出色，尤其在低资源语言上取得了显著的成果。

📝 摘要（中文）

多语言幻觉检测是一个尚未充分探索的挑战，Mu-SHROOM共享任务旨在解决这个问题。本文提出了一种高效、无需训练的大语言模型提示策略，通过将多语言文本跨度翻译成英语来增强检测效果。我们的方法在多种语言上取得了有竞争力的排名，并在低资源语言中获得了两个第一名。结果的一致性突出了我们的翻译策略在幻觉检测中的有效性，证明了其适用于任何源语言。

🔬 方法详解

问题定义：论文旨在解决多语言环境下的幻觉检测问题。现有方法在处理不同语言时，由于语言特性和数据资源的差异，表现参差不齐，尤其是在低资源语言上效果不佳。此外，直接训练多语言幻觉检测模型需要大量的标注数据，成本高昂。

核心思路：论文的核心思路是将不同语言的文本翻译成统一的语言（英语），然后利用在英语数据上训练的大语言模型进行幻觉检测。这种方法的核心在于利用大语言模型在英语上的强大能力，并通过翻译桥接不同语言之间的差异，从而实现跨语言的幻觉检测。

技术框架：该方法主要包含两个阶段：1) 翻译阶段：将待检测的多语言文本翻译成英语。可以使用现成的机器翻译API或模型。2) 幻觉检测阶段：将翻译后的英文文本输入到预训练的大语言模型中，通过特定的prompt工程，让大语言模型判断文本中是否存在幻觉。整个流程无需针对特定语言进行训练，属于零样本学习。

关键创新：该方法最大的创新在于利用翻译作为桥梁，将多语言幻觉检测问题转化为单语言问题，从而能够充分利用现有的大语言模型资源。这种方法避免了为每种语言单独训练模型的需要，大大降低了成本，并且在低资源语言上表现出强大的竞争力。

关键设计：论文的关键设计在于选择合适的翻译模型和prompt策略。翻译模型的质量直接影响幻觉检测的准确性。Prompt的设计需要引导大语言模型准确地判断文本中是否存在幻觉，例如，可以使用类似“Is there any hallucination in the following text?”的prompt。具体的参数设置和网络结构取决于所使用的大语言模型和翻译模型，论文中可能没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在SemEval-2025 Task 3的Mu-SHROOM共享任务中取得了优异的成绩，尤其是在低资源语言上获得了两个第一名。实验结果表明，该方法在多种语言上都具有竞争力，验证了翻译策略在多语言幻觉检测中的有效性。具体的性能数据和对比基线在原文中可能包含，属于未知信息。

🎯 应用场景

该研究成果可应用于多语言信息检索、机器翻译质量评估、跨语言内容审核等领域。通过检测机器生成文本中的幻觉，可以提高信息的可信度和可靠性，减少错误信息的传播。未来，该方法有望应用于更广泛的自然语言处理任务中，例如多语言对话系统和跨语言知识图谱构建。

📄 摘要（原文）

Multilingual hallucination detection stands as an underexplored challenge, which the Mu-SHROOM shared task seeks to address. In this work, we propose an efficient, training-free LLM prompting strategy that enhances detection by translating multilingual text spans into English. Our approach achieves competitive rankings across multiple languages, securing two first positions in low-resource languages. The consistency of our results highlights the effectiveness of our translation strategy for hallucination detection, demonstrating its applicability regardless of the source language.