Multi-hop Evidence Pursuit Meets the Web: Team Papelo at FEVER 2024

📄 arXiv: 2411.05762v1 📥 PDF

作者: Christopher Malon

分类: cs.CL

发布日期: 2024-11-08

备注: To appear in the Seventh FEVER Workshop at EMNLP 2024

💡 一句话要点

Papelo团队提出多跳证据追踪方法，结合LLM推理和搜索引擎检索，提升FEVER 2024任务的声明验证效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声明验证 多跳推理 大型语言模型 信息检索 证据追踪 事实核查 自然语言处理

📋 核心要点

  1. 现有方法在网络信息验证方面面临挑战，难以有效结合搜索和推理能力。
  2. 提出一种多跳证据追踪策略，迭代生成问题并利用LLM推理，逐步完善证据链。
  3. 实验表明，该方法在FEVER 2024任务中显著提升了标签准确率和证据充分性评分。

📝 摘要（中文）

在网络上区分虚假信息和事实长期以来挑战着人类的搜索和推理能力。本文展示了大型语言模型（LLM）的推理能力和现代搜索引擎的检索能力可以结合起来，以自动化这一过程并可解释地验证声明。我们集成LLM和搜索在一个多跳证据追踪策略下。该策略使用序列到序列模型，基于输入声明生成初始问题，搜索并形成对该问题的答案，并迭代地生成后续问题，以使用LLM追踪缺失的证据。我们在FEVER 2024 (AVeriTeC) 共享任务上演示了我们的系统。与一次性生成所有问题的策略相比，我们的方法获得了高0.045的标签准确率和高0.155的AVeriTeC分数（评估证据的充分性）。通过消融实验，我们展示了各种设计选择的重要性，例如问题生成方法、中等大小的上下文、一次推理一个文档、添加元数据、释义、将问题简化为两类以及重新考虑最终判断。我们提交的系统在开发集上实现了0.510的AVeriTeC分数，在测试集上实现了0.477的AVeriTeC分数。

🔬 方法详解

问题定义：论文旨在解决网络环境中自动且可解释的声明验证问题。现有方法难以有效结合搜索引擎的检索能力和大型语言模型的推理能力，导致验证过程不够准确和透明。特别是在需要多步推理和证据整合的复杂声明验证场景下，现有方法表现不足。

核心思路：论文的核心思路是采用多跳证据追踪策略，模拟人类专家逐步深入调查的过程。通过迭代生成问题、检索相关文档、利用LLM推理并整合证据，逐步缩小证据范围，最终得出可信的结论。这种方法旨在克服单次检索和推理的局限性，提高验证的准确性和可解释性。

技术框架：整体框架包含以下主要模块：1) 初始问题生成器：基于输入声明，使用序列到序列模型生成初始问题。2) 搜索引擎：利用搜索引擎检索与问题相关的文档。3) 答案生成器：利用LLM，基于检索到的文档生成对问题的答案。4) 后续问题生成器：利用LLM，基于已有的证据和答案，生成后续需要追踪的问题。5) 证据整合与判断模块：整合所有证据，并最终判断声明的真伪。整个流程迭代进行，直到获得充分的证据或达到预设的迭代次数。

关键创新：最重要的技术创新点在于多跳证据追踪的迭代式问题生成和证据整合机制。与传统方法一次性生成所有问题不同，该方法能够根据已有的证据动态调整后续的搜索方向，更有效地追踪关键证据。此外，论文还强调了各种设计选择的重要性，例如问题生成方法、上下文大小、单文档推理等。

关键设计：论文的关键设计包括：1) 使用序列到序列模型进行问题生成；2) 采用中等大小的上下文窗口，平衡推理效率和准确性；3) 每次只使用一个文档进行推理，降低计算复杂度；4) 添加元数据以增强证据的可信度；5) 使用释义技术来提高检索的召回率；6) 将问题简化为两类，降低分类难度；7) 在最终判断前重新考虑所有证据。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，多跳证据追踪策略在FEVER 2024 (AVeriTeC) 共享任务中取得了显著的性能提升。与一次性生成所有问题的策略相比，该方法获得了高0.045的标签准确率和高0.155的AVeriTeC分数。最终提交的系统在开发集上实现了0.510的AVeriTeC分数，在测试集上实现了0.477的AVeriTeC分数，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于自动化事实核查、虚假信息检测、新闻报道验证等领域。通过结合LLM的推理能力和搜索引擎的检索能力，可以构建更智能、更可信赖的信息验证系统，帮助用户识别和抵御网络谣言和虚假信息，提升信息环境的健康度。

📄 摘要（原文）

Separating disinformation from fact on the web has long challenged both the search and the reasoning powers of humans. We show that the reasoning power of large language models (LLMs) and the retrieval power of modern search engines can be combined to automate this process and explainably verify claims. We integrate LLMs and search under a multi-hop evidence pursuit strategy. This strategy generates an initial question based on an input claim using a sequence to sequence model, searches and formulates an answer to the question, and iteratively generates follow-up questions to pursue the evidence that is missing using an LLM. We demonstrate our system on the FEVER 2024 (AVeriTeC) shared task. Compared to a strategy of generating all the questions at once, our method obtains .045 higher label accuracy and .155 higher AVeriTeC score (evaluating the adequacy of the evidence). Through ablations, we show the importance of various design choices, such as the question generation method, medium-sized context, reasoning with one document at a time, adding metadata, paraphrasing, reducing the problem to two classes, and reconsidering the final verdict. Our submitted system achieves .510 AVeriTeC score on the dev set and .477 AVeriTeC score on the test set.