CheckEmbed: Effective Verification of LLM Solutions to Open-Ended Tasks

📄 arXiv: 2406.02524v5 📥 PDF

作者: Maciej Besta, Lorenzo Paleari, Marcin Copik, Robert Gerstenberger, Ales Kubicek, Piotr Nyczyk, Patrick Iff, Eric Schreiber, Tanja Srindran, Tomasz Lehmann, Hubert Niewiadomski, Torsten Hoefler

分类: cs.CL

发布日期: 2024-06-04 (更新: 2025-07-10)

💡 一句话要点

CheckEmbed：有效验证LLM在开放任务中的解决方案，提升准确性和可扩展性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM验证 嵌入向量 语义比较 幻觉检测

📋 核心要点

  1. 现有LLM输出验证方法，如BERTScore和SelfCheckGPT，依赖于较弱的编码器，限制了其在复杂开放任务中的准确性和可扩展性。
  2. CheckEmbed (CE) 通过使用强大的嵌入LLM模型将LLM答案简化为单个嵌入向量，实现快速、语义丰富的全答案级别比较。
  3. 实验结果表明，CE在检测LLM幻觉方面表现出色，且具有良好的通用性，可扩展到文本以外的其他模态，如视觉。

📝 摘要（中文）

大型语言模型（LLM）正在改变各个领域，但验证其输出仍然是一个重大挑战，尤其是在诸如整合、总结和知识提取等复杂的开放式任务中。为了解决这个问题，我们引入了CheckEmbed（CE）：一种简单、可扩展且准确的验证方法。CE使用强大的现代嵌入LLM模型（如SFR-Embedding-Mistral）将每个LLM答案简化为单个嵌入向量。先前的方法（如BERTScore和SelfCheckGPT）依赖于较弱的编码器（如BERT），迫使它们以token或句子粒度进行操作。相比之下，CE直接在整个答案级别执行快速、语义丰富的比较，克服了准确性和可扩展性的关键限制。我们对包括经典文本评分器（例如BLEU）、基于稳定性的方法（例如SelfCheckGPT）和生成式评估器（例如LLM-as-a-Judge）在内的13个验证基线进行了全面的设计和时间复杂度分析，突出了CE的有效性、效率、通用性和简单性。经验结果表明，CE可以可靠地检测封闭式和开放式任务中的幻觉。我们进一步提供的证据表明，CE可以推广到文本以外的其他模态（如视觉），从而将其确立为一种实用且通用的验证框架。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在开放式任务中生成答案的验证问题。现有方法，如BERTScore和SelfCheckGPT，由于依赖较弱的编码器（如BERT），无法有效地捕捉整个答案的语义信息，导致验证准确性不足，且难以扩展到更复杂的任务和模态。这些方法通常需要在token或句子级别进行比较，计算成本高昂。

核心思路：CheckEmbed（CE）的核心思路是将整个LLM答案编码成一个单一的嵌入向量，然后通过比较这些向量来验证答案的质量。这种方法利用了现代嵌入LLM模型（如SFR-Embedding-Mistral）强大的语义表示能力，能够在整个答案级别进行快速、语义丰富的比较。通过将复杂的文本信息压缩成一个向量，CE显著降低了计算复杂度，提高了验证效率。

技术框架：CheckEmbed的整体框架非常简洁。首先，使用LLM生成答案。然后，使用预训练的嵌入LLM模型（如SFR-Embedding-Mistral）将生成的答案编码成一个嵌入向量。最后，将该嵌入向量与参考答案（如果存在）的嵌入向量进行比较，或者与其他验证方法的结果进行比较，以评估答案的质量。该框架主要包含两个阶段：答案生成和嵌入向量比较。

关键创新：CheckEmbed最重要的技术创新在于它利用了强大的现代嵌入LLM模型，直接在整个答案级别进行语义比较。与以往依赖token或句子级别比较的方法相比，CE能够更全面地捕捉答案的语义信息，从而提高验证的准确性。此外，将整个答案压缩成一个向量也显著降低了计算复杂度，提高了验证效率。

关键设计：CE的关键设计在于选择合适的嵌入LLM模型。论文使用了SFR-Embedding-Mistral，因为它具有强大的语义表示能力和高效的计算性能。在比较嵌入向量时，可以使用余弦相似度等度量方法来衡量答案之间的相似程度。此外，CE还可以与其他验证方法结合使用，例如将CE的结果作为其他验证方法的输入，以进一步提高验证的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CheckEmbed在检测LLM幻觉方面表现出色，优于传统的文本评分器（如BLEU）、基于稳定性的方法（如SelfCheckGPT）和生成式评估器（如LLM-as-a-Judge）。CE能够可靠地检测封闭式和开放式任务中的幻觉，并且可以推广到文本以外的其他模态（如视觉）。CE在准确性和效率方面都取得了显著提升。

🎯 应用场景

CheckEmbed可广泛应用于各种需要验证LLM输出的场景，如自动摘要、知识提取、问答系统、代码生成等。它能够有效检测LLM生成的幻觉和错误信息，提高LLM应用的可靠性和安全性。该研究的成果有助于推动LLM在更多领域的应用，并为构建可信赖的人工智能系统奠定基础。

📄 摘要（原文）

Large Language Models (LLMs) are transforming a wide range of domains, yet verifying their outputs remains a significant challenge, especially for complex open-ended tasks such as consolidation, summarization, and knowledge extraction. To address this, we introduce CheckEmbed (CE): a simple, scalable, and accurate verification method. CE reduces each LLM answer to a single embedding vector using powerful modern embedding LLM models like SFR-Embedding-Mistral. Prior methods such as BERTScore and SelfCheckGPT relied on weaker encoders like BERT, forcing them to operate at token or sentence granularity. In contrast, CE performs fast, semantically rich comparisons directly at the whole-answer level, overcoming key limitations in both accuracy and scalability. We conduct a comprehensive design and time complexity analysis across 13 verification baselines, including classical text scorers (e.g., BLEU), stability-based methods (e.g., SelfCheckGPT), and generative evaluators (e.g., LLM-as-a-Judge), which highlights the effectiveness, efficiency, versatility, and simplicity of CE. Empirical results show that CE reliably detects hallucinations in both closed and open-ended tasks. We further present evidence that CE generalizes beyond text to other modalities such as vision, establishing it as a practical and versatile verification framework.