Beyond Hard and Soft: Hybrid Context Compression for Balancing Local and Global Information Retention

📄 arXiv: 2505.15774v1 📥 PDF

作者: Huanxuan Liao, Wen Hu, Yao Xu, Shizhu He, Jun Zhao, Kang Liu

分类: cs.CL, cs.LG

发布日期: 2025-05-21

💡 一句话要点

提出HyCo₂混合上下文压缩方法，平衡局部和全局信息保留，提升长文本推理性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文压缩 长文本推理 大型语言模型 混合压缩 全局语义 局部细节 知识密集型问答

📋 核心要点

  1. 现有上下文压缩方法在处理长文本时，难以兼顾全局语义和局部细节，导致重要信息丢失。
  2. HyCo₂通过混合适配器和token保留概率分类层，融合全局和局部视角指导上下文压缩。
  3. 实验表明，HyCo₂在显著减少token使用的同时，提升了长文本推理性能，平均提升13.1%。

📝 摘要（中文）

大型语言模型(LLMs)在长序列推理中面临计算效率低下和冗余处理的挑战，促使了对上下文压缩技术的研究。现有方法通常依赖于token重要性进行硬局部压缩，或将上下文编码为潜在表示进行软全局压缩。然而，文本内容相关性的不均匀分布和用户指令需求的多样性意味着这些方法经常导致潜在有价值信息的丢失。为了解决这个问题，我们提出了用于LLMs的混合上下文压缩(HyCo₂)，它整合了全局和局部视角来指导上下文压缩，同时保留了任务完成所需的基本语义和关键细节。具体来说，我们采用混合适配器，利用全局视角来细化全局语义，基于不同适配器擅长不同任务的观察。然后，我们加入一个分类层，根据局部视角为每个上下文token分配一个保留概率，决定是否应该保留或丢弃它。为了促进全局和局部压缩的平衡整合，我们在指令调优之前引入了辅助释义和补全预训练。这促进了一种协同整合，强调与指令相关的信息，同时保留必要的局部细节，最终平衡上下文压缩中的局部和全局信息保留。实验表明，我们的HyCo₂方法显著增强了长文本推理，同时减少了token的使用。它在七个知识密集型QA基准测试中，将各种LLM系列的性能平均提高了13.1%。此外，HyCo₂在减少88.8% token消耗的同时，达到了未压缩方法的性能。

🔬 方法详解

问题定义：现有的大型语言模型在处理长文本时，由于计算复杂度和冗余信息过多，效率低下。现有的上下文压缩方法，如基于token重要性的硬压缩和基于潜在表示的软压缩，都难以同时保留全局语义和局部细节，导致关键信息丢失，影响下游任务的性能。

核心思路：HyCo₂的核心思路是结合全局和局部视角进行上下文压缩，通过混合适配器捕捉全局语义，并通过token级别的保留概率来保留重要的局部细节。这种混合方法旨在平衡信息的压缩和保留，从而提高长文本推理的性能。

技术框架：HyCo₂的技术框架主要包括以下几个模块：1) 混合适配器：用于从全局视角提炼上下文的语义信息。2) token保留概率分类层：基于局部视角，为每个token分配一个保留概率，决定是否保留该token。3) 辅助预训练：包括释义和补全预训练，用于促进全局和局部信息的融合。在指令调优阶段，模型会根据任务进行微调。

关键创新：HyCo₂的关键创新在于混合压缩策略，它不同于以往单一的硬压缩或软压缩方法。通过结合全局语义理解和局部细节保留，HyCo₂能够更有效地压缩上下文，同时避免关键信息的丢失。此外，辅助预训练也促进了全局和局部信息的有效融合。

关键设计：混合适配器的具体结构未知，但论文强调了不同适配器擅长不同任务的观察，因此适配器的选择可能与任务相关。token保留概率分类层的设计细节未知，但其目标是为每个token分配一个0到1之间的概率值，用于决定是否保留该token。辅助预训练的具体实现细节未知，但其目的是促进全局和局部信息的融合，提高模型的上下文理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HyCo₂在七个知识密集型QA基准测试中，将各种LLM系列的性能平均提高了13.1%。更重要的是，HyCo₂在减少88.8% token消耗的同时，达到了未压缩方法的性能。这些结果表明，HyCo₂能够在显著降低计算成本的同时，保持甚至提高长文本推理的性能。

🎯 应用场景

HyCo₂可应用于各种需要处理长文本的场景，如长文档问答、信息检索、文本摘要和对话系统。通过减少token使用量，可以降低计算成本，提高推理效率。该方法尤其适用于资源受限的设备或需要实时响应的应用，具有广泛的应用前景。

📄 摘要（原文）

Large Language Models (LLMs) encounter significant challenges in long-sequence inference due to computational inefficiency and redundant processing, driving interest in context compression techniques. Existing methods often rely on token importance to perform hard local compression or encode context into latent representations for soft global compression. However, the uneven distribution of textual content relevance and the diversity of demands for user instructions mean these approaches frequently lead to the loss of potentially valuable information. To address this, we propose $\textbf{Hy}$brid $\textbf{Co}$ntext $\textbf{Co}$mpression (HyCo$_2$) for LLMs, which integrates both global and local perspectives to guide context compression while retaining both the essential semantics and critical details for task completion. Specifically, we employ a hybrid adapter to refine global semantics with the global view, based on the observation that different adapters excel at different tasks. Then we incorporate a classification layer that assigns a retention probability to each context token based on the local view, determining whether it should be retained or discarded. To foster a balanced integration of global and local compression, we introduce auxiliary paraphrasing and completion pretraining before instruction tuning. This promotes a synergistic integration that emphasizes instruction-relevant information while preserving essential local details, ultimately balancing local and global information retention in context compression. Experiments show that our HyCo$_2$ method significantly enhances long-text reasoning while reducing token usage. It improves the performance of various LLM series by an average of 13.1\% across seven knowledge-intensive QA benchmarks. Moreover, HyCo$_2$ matches the performance of uncompressed methods while reducing token consumption by 88.8\%.