LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

📄 arXiv: 2310.06839v2 📥 PDF

作者: Huiqiang Jiang, Qianhui Wu, Xufang Luo, Dongsheng Li, Chin-Yew Lin, Yuqing Yang, Lili Qiu

分类: cs.CL, cs.LG

发布日期: 2023-10-10 (更新: 2024-08-12)

备注: Accepted at ACL 2024

💡 一句话要点

提出LongLLMLingua以解决长上下文场景中的LLM性能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文 提示压缩 大型语言模型 性能提升 计算成本降低 自然语言处理 信息提取 模型优化

📋 核心要点

  1. 现有大型语言模型在长上下文场景中面临计算成本高、性能下降和位置偏差等问题，影响其应用效果。
  2. LongLLMLingua通过提示压缩技术，旨在提高LLM对关键信息的感知，从而解决上述挑战。
  3. 实验结果显示，LongLLMLingua在多个基准测试中显著提升了模型性能，并降低了计算成本和延迟。

📝 摘要（中文）

在长上下文场景中，大型语言模型（LLMs）面临计算成本高、性能下降和位置偏差等三大挑战。研究表明，LLM的性能依赖于输入提示中关键信息的密度和位置。基于此，我们提出了LongLLMLingua，通过提示压缩来改善LLM对关键信息的感知，从而同时解决这三大挑战。我们在多个长上下文场景下进行了广泛评估，结果表明LongLLMLingua不仅提升了性能，还显著降低了成本和延迟。例如，在NaturalQuestions基准测试中，LongLLMLingua使性能提升高达21.4%，同时在GPT-3.5-Turbo中减少了约4倍的token，带来了显著的成本节约。在LooGLE基准测试中，成本降低达到94.0%。此外，在压缩约10k tokens的提示时，LongLLMLingua的加速比为1.4x-2.6x。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在长上下文场景中面临的高计算成本、性能下降和位置偏差等具体问题。现有方法在处理长文本时，往往无法有效提取和利用关键信息，导致性能受限。

核心思路：LongLLMLingua的核心思路是通过提示压缩技术，优化输入提示中关键信息的密度和位置，从而提升模型的理解能力和响应效率。该方法旨在减少不必要的信息干扰，使模型更专注于重要内容。

技术框架：LongLLMLingua的整体架构包括信息提取模块、压缩算法和模型优化模块。信息提取模块负责识别输入提示中的关键信息，压缩算法则对这些信息进行有效压缩，最后通过模型优化模块提升LLM的性能。

关键创新：本研究的关键创新在于提出了一种新颖的提示压缩方法，能够在保持信息完整性的同时，显著减少输入token数量。这一方法与传统的文本处理方式有本质区别，能够更有效地应对长上下文的挑战。

关键设计：在设计中，采用了特定的参数设置和损失函数，以确保压缩后的提示仍能保留关键信息。此外，网络结构经过优化，以适应压缩后的输入，提升模型的处理效率。具体的参数和结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LongLLMLingua在NaturalQuestions基准测试中性能提升高达21.4%，同时在GPT-3.5-Turbo中减少了约4倍的token，带来显著的成本节约。在LooGLE基准测试中，成本降低达到94.0%。此外，压缩约10k tokens的提示时，LongLLMLingua的加速比为1.4x-2.6x，显著提升了响应速度。

🎯 应用场景

LongLLMLingua的研究成果具有广泛的应用潜力，尤其在需要处理长文本的自然语言处理任务中，如问答系统、文本摘要和对话生成等领域。通过提升模型的性能和降低计算成本，该方法能够为实际应用提供更高效的解决方案，推动相关技术的发展和普及。

📄 摘要（原文）

In long context scenarios, large language models (LLMs) face three main challenges: higher computational cost, performance reduction, and position bias. Research indicates that LLM performance hinges on the density and position of key information in the input prompt. Inspired by these findings, we propose LongLLMLingua for prompt compression towards improving LLMs' perception of the key information to simultaneously address the three challenges. Our extensive evaluation across various long context scenarios demonstrates that LongLLMLingua not only enhances performance but also significantly reduces costs and latency. For instance, in the NaturalQuestions benchmark, LongLLMLingua boosts performance by up to 21.4% with around 4x fewer tokens in GPT-3.5-Turbo, leading to substantial cost savings. It achieves a 94.0% cost reduction in the LooGLE benchmark. Moreover, when compressing prompts of about 10k tokens at ratios of 2x-6x, LongLLMLingua can accelerate end-to-end latency by 1.4x-2.6x. Our code is available at https://aka.ms/LongLLMLingua.