Compressing Context to Enhance Inference Efficiency of Large Language Models

📄 arXiv: 2310.06201v1 📥 PDF

作者: Yucheng Li, Bo Dong, Chenghua Lin, Frank Guerin

分类: cs.CL

发布日期: 2023-10-09

备注: EMNLP 2023. arXiv admin note: substantial text overlap with arXiv:2304.12102; text overlap with arXiv:2303.11076 by other authors

💡 一句话要点

提出选择性上下文方法以提升大语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 上下文压缩 推理效率 冗余信息修剪 文本处理

📋 核心要点

  1. 现有大语言模型在处理长文档时面临内存和推理时间的显著增加，且可能导致上下文截断。
  2. 提出选择性上下文方法，通过识别和修剪冗余信息，使输入上下文更加紧凑，从而提升推理效率。
  3. 实验结果显示，该方法在内存使用上减少了36%，推理时间减少了32%，性能损失微小，表明效率与性能的良好平衡。

📝 摘要（中文）

大语言模型（LLMs）在多种任务中表现出色，但在处理长文档和延续对话时面临计算资源需求显著增加的问题，尤其是内存和推理时间的消耗，以及当输入超出固定上下文长度时可能导致的上下文截断。本文提出了一种名为选择性上下文的方法，通过识别和修剪输入上下文中的冗余信息，使输入更加紧凑，从而提高LLMs的推理效率。我们在需要长上下文处理的常见数据源上测试了该方法，包括arXiv论文、新闻文章和长对话，任务涵盖摘要生成、问答和响应生成。实验结果表明，选择性上下文显著降低了内存成本和生成延迟，同时在性能上与使用完整上下文时相当。

🔬 方法详解

问题定义：本文旨在解决大语言模型在处理长文档和对话时的计算资源消耗问题，现有方法在上下文长度超出限制时容易导致性能下降和上下文截断。

核心思路：选择性上下文方法通过识别输入中的冗余信息并进行修剪，使得输入上下文更加紧凑，从而减少内存和推理时间的消耗。

技术框架：该方法的整体架构包括上下文分析模块、冗余信息识别模块和上下文修剪模块，依次处理输入数据以优化上下文。

关键创新：最重要的创新点在于通过选择性修剪冗余上下文，显著降低了内存和推理时间，同时保持了与完整上下文相近的性能。

关键设计：在参数设置上，选择性上下文方法通过设定阈值来判断冗余信息，损失函数设计上关注于保持生成内容的连贯性和准确性，确保在修剪后仍能满足任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，选择性上下文方法在内存使用上减少了36%，推理时间减少了32%。在四个下游应用中，BERTscore仅下降了0.023，忠实度下降0.038，表明该方法在效率与性能之间取得了良好平衡。

🎯 应用场景

该研究的潜在应用领域包括长文本摘要生成、智能问答系统和对话生成等。通过提升大语言模型的推理效率，该方法能够在资源受限的环境中实现更高效的文本处理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) achieved remarkable performance across various tasks. However, they face challenges in managing long documents and extended conversations, due to significantly increased computational requirements, both in memory and inference time, and potential context truncation when the input exceeds the LLM's fixed context length. This paper proposes a method called Selective Context that enhances the inference efficiency of LLMs by identifying and pruning redundancy in the input context to make the input more compact. We test our approach using common data sources requiring long context processing: arXiv papers, news articles, and long conversations, on tasks of summarisation, question answering, and response generation. Experimental results show that Selective Context significantly reduces memory cost and decreases generation latency while maintaining comparable performance compared to that achieved when full context is used. Specifically, we achieve a 50\% reduction in context cost, resulting in a 36\% reduction in inference memory usage and a 32\% reduction in inference time, while observing only a minor drop of .023 in BERTscore and .038 in faithfulness on four downstream applications, indicating that our method strikes a good balance between efficiency and performance.