HalluSearch at SemEval-2025 Task 3: A Search-Enhanced RAG Pipeline for Hallucination Detection

📄 arXiv: 2504.10168v1 📥 PDF

作者: Mohamed A. Abdallah, Samhaa R. El-Beltagy

分类: cs.CL, cs.AI

发布日期: 2025-04-14

💡 一句话要点

HalluSearch：一种搜索增强的RAG流水线，用于幻觉检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 大型语言模型 检索增强生成 多语言处理 事实验证

📋 核心要点

  1. 大型语言模型（LLM）存在生成不实信息的“幻觉”问题，现有方法难以有效检测和定位多语言环境下的幻觉。
  2. HalluSearch通过结合检索增强验证和细粒度事实分割，构建多语言幻觉检测流水线，提升幻觉检测的准确性和鲁棒性。
  3. 实验结果表明，HalluSearch在英语和捷克语的幻觉检测任务中表现出色，但在低资源语言中仍面临挑战。

📝 摘要（中文）

本文介绍了HalluSearch，一个旨在检测大型语言模型（LLM）输出中捏造文本片段的多语言流水线。HalluSearch是Mu-SHROOM（关于幻觉和相关可观察过度生成错误的多语言共享任务）的一部分，它将检索增强验证与细粒度的事实分割相结合，以识别和定位十四种不同语言中的幻觉。实证评估表明，HalluSearch表现出竞争力，在英语和捷克语中均排名第四（均在前百分之十之内）。虽然该系统的基于检索的策略通常被证明是稳健的，但它在在线覆盖范围有限的语言中面临挑战，这突显了需要进一步研究以确保在不同的语言环境中实现一致的幻觉检测。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）生成文本时出现的“幻觉”问题，即生成与事实不符的内容。现有方法在多语言环境下的幻觉检测效果不佳，尤其是在低资源语言中，缺乏有效的检测和定位机制。

核心思路：HalluSearch的核心思路是利用检索增强生成（RAG）框架，通过外部知识库检索相关信息来验证LLM生成的文本，并结合细粒度的文本分割技术，精确定位幻觉片段。这种方法旨在提高幻觉检测的准确性和鲁棒性，尤其是在多语言环境中。

技术框架：HalluSearch的整体架构包含以下几个主要模块：1) 文本分割：将LLM生成的文本分割成更小的、更易于验证的事实片段。2) 信息检索：使用检索模型（如BM25或基于Transformer的模型）从外部知识库（如维基百科）中检索与每个文本片段相关的信息。3) 事实验证：利用检索到的信息验证每个文本片段的真实性，判断是否存在幻觉。4) 幻觉定位：根据验证结果，精确定位文本中包含幻觉的片段。

关键创新：HalluSearch的关键创新在于将检索增强验证与细粒度事实分割相结合，从而能够更准确地检测和定位多语言环境下的幻觉。与传统的幻觉检测方法相比，HalluSearch利用外部知识库进行验证，避免了仅依赖LLM自身知识的局限性。

关键设计：HalluSearch的关键设计包括：1) 文本分割策略：采用启发式规则或基于模型的分割方法，将文本分割成语义完整的片段。2) 检索模型选择：根据语言和知识库的特点选择合适的检索模型，如BM25或基于Transformer的模型。3) 相似度阈值：设置相似度阈值，用于判断检索到的信息与文本片段是否相关，从而影响验证结果。4) 多语言支持：针对不同语言的特点，采用不同的预处理和检索策略，以提高幻觉检测的准确性。

📊 实验亮点

HalluSearch在SemEval-2025 Task 3的Mu-SHROOM挑战赛中表现出色，在英语和捷克语的幻觉检测任务中均排名前四（均在前10%）。实验结果表明，该系统在检索增强验证方面的有效性，尤其是在资源充足的语言中。然而，在低资源语言中，HalluSearch的性能受到限制，表明需要进一步研究以提高其跨语言的泛化能力。

🎯 应用场景

HalluSearch可应用于各种需要确保LLM生成内容真实性的场景，如新闻生成、问答系统、内容创作辅助工具等。通过检测和纠正LLM的幻觉，可以提高生成内容的质量和可信度，避免误导用户，并提升用户体验。未来，该技术有望在自动化内容审核、智能客服等领域发挥重要作用。

📄 摘要（原文）

In this paper, we present HalluSearch, a multilingual pipeline designed to detect fabricated text spans in Large Language Model (LLM) outputs. Developed as part of Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes, HalluSearch couples retrieval-augmented verification with fine-grained factual splitting to identify and localize hallucinations in fourteen different languages. Empirical evaluations show that HalluSearch performs competitively, placing fourth in both English (within the top ten percent) and Czech. While the system's retrieval-based strategy generally proves robust, it faces challenges in languages with limited online coverage, underscoring the need for further research to ensure consistent hallucination detection across diverse linguistic contexts.