GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models

📄 arXiv: 2406.14550v2 📥 PDF

作者: Shilong Li, Yancheng He, Hangyu Guo, Xingyuan Bu, Ge Bai, Jie Liu, Jiaheng Liu, Xingwei Qu, Yangguang Li, Wanli Ouyang, Wenbo Su, Bo Zheng

分类: cs.CL, cs.AI

发布日期: 2024-06-20 (更新: 2024-11-05)

备注: [EMNLP 2024] The first four authors contributed equally, 29 pages

💡 一句话要点

提出GraphReader，通过图结构化长文本增强大语言模型的长程上下文处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 图神经网络 Agent系统 大语言模型 知识图谱 长程上下文 自主探索

📋 核心要点

  1. 大语言模型在处理长输入任务时面临挑战，现有方法难以稳健地处理长程上下文。
  2. GraphReader将长文本构建为图结构，利用Agent自主探索，实现由粗到精的信息提取。
  3. 实验表明，GraphReader在长文本问答任务中显著优于GPT-4-128k，并在多个基准测试中取得领先。

📝 摘要（中文）

本文提出GraphReader，一个基于图的Agent系统，旨在通过将长文本结构化为图并利用Agent自主探索该图来处理长文本。当接收到问题时，Agent首先进行逐步分析并制定合理的计划。然后，它调用一组预定义函数来读取节点内容和邻居，从而促进对图的由粗到精的探索。在整个探索过程中，Agent不断记录新的见解并反思当前情况，以优化过程，直到收集到足够的信息来生成答案。在LV-Eval数据集上的实验结果表明，使用4k上下文窗口的GraphReader始终优于GPT-4-128k，且优势明显，上下文长度从16k到256k不等。此外，我们的方法在四个具有挑战性的单跳和多跳基准测试中表现出卓越的性能。

🔬 方法详解

问题定义：现有的大语言模型在处理长文本时，面临着信息冗余、关键信息难以提取等问题。传统的Transformer架构在处理长序列时计算复杂度高，且容易出现信息丢失。因此，如何有效地利用长文本中的信息，提高模型在长程上下文理解任务中的性能，是一个亟待解决的问题。

核心思路：GraphReader的核心思路是将长文本表示成图结构，其中节点代表文本片段，边代表文本片段之间的关系。然后，利用Agent在图上进行自主探索，通过逐步读取节点信息和邻居节点信息，最终找到与问题相关的答案。这种方法将长文本处理问题转化为图上的搜索问题，降低了计算复杂度，并提高了信息提取的效率。

技术框架：GraphReader主要包含以下几个模块：1) 图构建模块：将长文本分割成多个片段，并根据文本片段之间的关系构建图结构。2) Agent规划模块：接收到问题后，Agent会进行分析，并制定一个合理的探索计划。3) Agent探索模块：Agent根据计划，调用预定义的函数来读取节点内容和邻居节点信息，并在图上进行逐步探索。4) 信息记录与反思模块：Agent在探索过程中，会不断记录新的见解，并反思当前情况，以优化探索过程。5) 答案生成模块：当Agent收集到足够的信息后，会生成最终的答案。

关键创新：GraphReader的关键创新在于将长文本处理问题转化为图上的搜索问题，并利用Agent进行自主探索。这种方法可以有效地降低计算复杂度，并提高信息提取的效率。此外，Agent的规划和反思机制可以帮助其更好地理解长文本，并找到与问题相关的答案。

关键设计：在图构建模块中，可以使用不同的方法来分割文本片段，例如基于句子、段落或主题等。在Agent探索模块中，可以设计不同的探索策略，例如深度优先搜索、广度优先搜索或基于强化学习的搜索策略。此外，还可以设计不同的奖励函数来指导Agent的探索过程。具体参数设置和网络结构的选择取决于具体的应用场景和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GraphReader在使用4k上下文窗口的情况下，在LV-Eval数据集上始终优于GPT-4-128k，且优势明显，上下文长度从16k到256k不等。此外，GraphReader在四个具有挑战性的单跳和多跳基准测试中也表现出卓越的性能，证明了其在长文本理解方面的优越性。

🎯 应用场景

GraphReader具有广泛的应用前景，例如在法律文档分析、医学报告解读、金融报告分析等领域。它可以帮助人们快速地从大量的长文本中提取关键信息，提高工作效率。此外，GraphReader还可以应用于智能客服、知识图谱构建等领域，为用户提供更加智能化的服务。

📄 摘要（原文）

Long-context capabilities are essential for large language models (LLMs) to tackle complex and long-input tasks. Despite numerous efforts made to optimize LLMs for long contexts, challenges persist in robustly processing long inputs. In this paper, we introduce GraphReader, a graph-based agent system designed to handle long texts by structuring them into a graph and employing an agent to explore this graph autonomously. Upon receiving a question, the agent first undertakes a step-by-step analysis and devises a rational plan. It then invokes a set of predefined functions to read node content and neighbors, facilitating a coarse-to-fine exploration of the graph. Throughout the exploration, the agent continuously records new insights and reflects on current circumstances to optimize the process until it has gathered sufficient information to generate an answer. Experimental results on the LV-Eval dataset reveal that GraphReader, using a 4k context window, consistently outperforms GPT-4-128k across context lengths from 16k to 256k by a large margin. Additionally, our approach demonstrates superior performance on four challenging single-hop and multi-hop benchmarks.