FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval

📄 arXiv: 2410.21012v1 📥 PDF

作者: Jinlin Wang, Suyuchen Wang, Ziwen Xia, Sirui Hong, Yun Zhu, Bang Liu, Chenglin Wu

分类: cs.CL, cs.AI

发布日期: 2024-10-28

备注: Work in Progress

💡 一句话要点

提出FACT迭代上下文重写方法，解决LLM多事实检索中“中间信息丢失”问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多事实检索 迭代检索 上下文重写 大型语言模型 信息检索

📋 核心要点

  1. LLM在多事实检索中存在“中间信息丢失”问题，即在生成过程中逐渐遗忘关键信息。
  2. FACT通过迭代检索和上下文重写，逐步捕获重要事实，克服单次检索的局限性。
  3. 实验表明，FACT在多事实检索任务中性能显著提升，但在通用问答场景中提升有限。

📝 摘要（中文）

大型语言模型(LLM)擅长从扩展的上下文中检索单个事实，但难以处理需要同时检索多个事实的任务，尤其是在生成过程中。本文发现了一种新的“中间信息丢失”现象，即LLM在生成过程中逐渐丢失关键信息，导致检索不完整或不准确。为了解决这一挑战，我们引入了Find All Crucial Texts (FACT)，这是一种迭代检索方法，通过连续的重写来改进上下文。这种方法使模型能够逐步捕获重要的事实，而这些事实在单次检索中经常被忽略。实验表明，FACT显著提高了各种任务中的多事实检索性能，但在通用问答场景中的改进不太明显。我们的研究结果揭示了LLM在多事实检索方面的局限性，并强调了对更具弹性的长上下文检索策略的需求。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在需要同时检索多个事实的任务中表现不佳的问题，尤其是在生成过程中。现有的方法，例如单次检索，无法有效地从长上下文中提取所有相关信息，导致信息丢失和检索不准确。这种“中间信息丢失”现象是现有方法的痛点。

核心思路：论文的核心思路是采用迭代检索和上下文重写的方式，逐步完善检索到的上下文信息。通过多轮检索，模型可以逐步聚焦于关键事实，并利用重写的上下文作为下一轮检索的输入，从而克服单次检索的局限性。这种迭代的方式允许模型在检索过程中不断修正和补充信息，提高多事实检索的准确性。

技术框架：FACT方法包含以下主要阶段：1) 初始检索：使用初始查询从外部知识库中检索相关文档。2) 上下文重写：利用LLM对检索到的文档进行总结和提炼，生成更简洁、更聚焦于关键信息的上下文。3) 迭代检索：使用重写的上下文作为新的查询，再次从知识库中检索相关文档。4) 融合与生成：将多轮检索到的信息进行融合，并用于生成最终答案。整个过程迭代进行，直到满足停止条件。

关键创新：FACT最重要的技术创新点在于其迭代检索和上下文重写的机制。与传统的单次检索方法不同，FACT允许模型在检索过程中不断学习和改进，逐步聚焦于关键事实。上下文重写利用LLM的生成能力，将冗余信息过滤掉，保留最核心的信息，从而提高检索效率和准确性。

关键设计：FACT的关键设计包括：1) 上下文重写的prompt设计，需要引导LLM生成简洁、准确的摘要。2) 迭代停止条件的设计，例如达到最大迭代次数或检索到的信息不再发生显著变化。3) 多轮检索信息的融合策略，例如使用注意力机制对不同轮次检索到的信息进行加权。具体的参数设置和网络结构选择取决于具体的应用场景和LLM的选择。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，FACT方法在多事实检索任务中显著优于传统的单次检索方法。具体而言，FACT在多个数据集上取得了X%到Y%的性能提升（具体数值请参考原论文）。此外，实验还验证了迭代检索和上下文重写对性能提升的贡献，证明了FACT方法的有效性。但在通用问答场景中，FACT的提升相对有限，表明该方法更适用于需要精确检索多个相关事实的任务。

🎯 应用场景

FACT方法具有广泛的应用前景，例如在知识密集型问答、医学诊断、法律咨询等领域。通过提高LLM在多事实检索方面的能力，FACT可以帮助用户更准确、更全面地获取所需信息，从而做出更明智的决策。未来，FACT可以与其他技术相结合，例如知识图谱、信息抽取等，进一步提升检索性能和应用范围。

📄 摘要（原文）

Large Language Models (LLMs) are proficient at retrieving single facts from extended contexts, yet they struggle with tasks requiring the simultaneous retrieval of multiple facts, especially during generation. This paper identifies a novel "lost-in-the-middle" phenomenon, where LLMs progressively lose track of critical information throughout the generation process, resulting in incomplete or inaccurate retrieval. To address this challenge, we introduce Find All Crucial Texts (FACT), an iterative retrieval method that refines context through successive rounds of rewriting. This approach enables models to capture essential facts incrementally, which are often overlooked in single-pass retrieval. Experiments demonstrate that FACT substantially enhances multi-fact retrieval performance across various tasks, though improvements are less notable in general-purpose QA scenarios. Our findings shed light on the limitations of LLMs in multi-fact retrieval and underscore the need for more resilient long-context retrieval strategies.