Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor

📄 arXiv: 2502.13374v1 📥 PDF

作者: Barys Liskavets, Shuvendu Roy, Maxim Ushakov, Mark Klibanov, Ali Etemad, Shane Luke

分类: cs.CL

发布日期: 2025-02-19

💡 一句话要点

提出任务无关提示压缩框架TPC，提升LLM在长文本任务中的泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示压缩 大型语言模型 任务无关 强化学习 长文本处理

📋 核心要点

  1. 现有提示压缩方法依赖于问题或模板，泛化性不足，难以适应不同任务。
  2. TPC框架通过训练任务描述符，提取上下文相关的任务信息，实现任务无关的提示压缩。
  3. 实验表明，TPC在长文本基准测试中表现出色，小模型性能媲美现有方法，大模型超越SOTA。

📝 摘要（中文）

大型语言模型（LLM）的兴起引发了对提示压缩技术的极大兴趣，该技术旨在减少输入提示的长度，同时保留关键信息。然而，目前主流的提示压缩方法通常需要显式的问题或手工制作的模板进行压缩，限制了它们的泛化能力。我们提出了任务无关提示压缩（TPC），这是一个新颖的框架，可以在跨任务和跨领域进行压缩，而无需输入问题或模板。TPC使用在上下文和查询对的精选数据集上训练的任务描述符生成上下文相关的任务描述，并通过强化学习进行微调，强化学习的奖励函数旨在捕获最相关的信息。然后，任务描述符用于计算提示中每个句子的相关性，以生成压缩的提示。我们介绍了3种模型尺寸（Base、Large和Huge），其中最大的模型在LongBench和ZeroSCROLLS基准测试中优于现有的最先进方法，而我们最小的模型性能与现有解决方案相当，但尺寸要小得多。

🔬 方法详解

问题定义：现有提示压缩方法通常需要针对特定任务设计问题或模板，这限制了它们在不同任务和领域中的泛化能力。此外，手工设计模板耗时耗力，难以适应快速变化的任务需求。因此，如何实现任务无关的提示压缩，提高LLM在各种任务中的性能，是一个重要的研究问题。

核心思路：论文的核心思路是训练一个任务描述符，该描述符能够从上下文中提取任务相关的关键信息，并利用这些信息来评估提示中每个句子的重要性。通过保留最重要的句子，可以实现提示的压缩，同时最大限度地保留任务相关的关键信息。这种方法避免了对特定任务的依赖，提高了泛化能力。

技术框架：TPC框架主要包含以下几个模块：1) 上下文和查询对数据集：用于训练任务描述符。2) 任务描述符：用于生成上下文相关的任务描述。3) 奖励函数：用于通过强化学习微调任务描述符，使其能够捕获最相关的信息。4) 句子相关性计算：利用任务描述符计算提示中每个句子的相关性。5) 提示压缩：根据句子相关性，选择最重要的句子，生成压缩的提示。

关键创新：TPC的关键创新在于提出了任务无关的提示压缩框架，该框架不需要显式的问题或手工制作的模板。通过训练任务描述符，TPC能够自动提取任务相关的关键信息，并利用这些信息进行提示压缩。这种方法提高了提示压缩的泛化能力，使其能够适应不同的任务和领域。

关键设计：任务描述符使用Transformer模型进行训练，输入是上下文和查询对，输出是任务描述。奖励函数的设计至关重要，它需要能够衡量压缩后的提示是否保留了任务相关的关键信息。论文使用强化学习算法（未知）对任务描述符进行微调，以最大化奖励函数。句子相关性计算使用任务描述符的输出作为权重，对句子进行加权平均。压缩率是一个重要的参数，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TPC在LongBench和ZeroSCROLLS基准测试中取得了显著的性能提升。最大的模型在两个基准测试中都优于现有的SOTA方法。更重要的是，最小的模型在保持与现有解决方案相当的性能的同时，模型尺寸显著减小，这使得TPC更易于部署和应用。

🎯 应用场景

该研究成果可应用于各种需要处理长文本输入的场景，例如文档摘要、信息检索、问答系统等。通过压缩提示，可以减少LLM的计算负担，提高处理速度，并降低成本。此外，任务无关的特性使得该方法可以方便地应用于新的任务和领域，具有广泛的应用前景。

📄 摘要（原文）

The rise of Large Language Models (LLMs) has led to significant interest in prompt compression, a technique aimed at reducing the length of input prompts while preserving critical information. However, the prominent approaches in prompt compression often require explicit questions or handcrafted templates for compression, limiting their generalizability. We propose Task-agnostic Prompt Compression (TPC), a novel framework that generalizes compression across tasks and domains without requiring input questions or templates. TPC generates a context-relevant task description using a task descriptor trained on a curated dataset of context and query pairs, and fine-tuned via reinforcement learning with a reward function designed to capture the most relevant information. The task descriptor is then utilized to compute the relevance of each sentence in the prompt to generate the compressed prompt. We introduce 3 model sizes (Base, Large, and Huge), where the largest model outperforms the existing state-of-the-art methods on LongBench and ZeroSCROLLS benchmarks, and our smallest model performs comparable to the existing solutions while being considerably smaller.