FreqKV: Frequency Domain Key-Value Compression for Efficient Context Window Extension

📄 arXiv: 2505.00570v2 📥 PDF

作者: Jushi Kai, Boyi Zeng, Yixuan Wang, Haoli Bai, Ziwei He, Bo Jiang, Zhouhan Lin

分类: cs.CL, cs.AI

发布日期: 2025-05-01 (更新: 2025-05-19)

💡 一句话要点

FreqKV：提出频域Key-Value压缩方法，高效扩展LLM上下文窗口

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文 Key-Value压缩 频域分析 大型语言模型 上下文窗口扩展

📋 核心要点

  1. 现有方法难以兼顾LLM长上下文处理的效率与信息完整性，导致性能瓶颈。
  2. FreqKV通过频域分析，压缩KV缓存中的冗余信息，保留关键低频成分，实现高效压缩。
  3. 实验表明，FreqKV在长文本任务上表现出色，能够在扩展上下文窗口的同时保持性能。

📝 摘要（中文）

本文提出了一种新颖的频域Key-Value（KV）压缩技术FreqKV，旨在为仅解码器的大型语言模型（LLM）实现高效的上下文窗口扩展。该方法基于一个关键观察：KV缓存的能量分布在频域中主要集中在低频分量。通过丢弃高频分量，FreqKV能够以最小的信息损失实现KV缓存的有效压缩。FreqKV迭代地将不断增长的KV缓存压缩到频域中的固定大小，从而使模型能够高效地处理长上下文。FreqKV无需额外的参数或架构修改，适用于微调和推理。通过最小的微调，LLM可以学习利用在频域中压缩的有限缓存并扩展上下文窗口。在各种长上下文语言建模和理解任务上的实验证明了该方法的效率和有效性。

🔬 方法详解

问题定义：现有的大型语言模型在处理长上下文时，KV缓存会显著增加，导致计算和存储成本上升，限制了模型的应用。现有的上下文窗口扩展方法通常需要引入额外的参数或复杂的架构修改，增加了模型训练和部署的难度。

核心思路：FreqKV的核心思路是利用频域分析来压缩KV缓存。论文观察到KV缓存的能量主要集中在低频分量，这意味着高频分量包含的信息冗余度较高。通过丢弃高频分量，可以在很大程度上压缩KV缓存，同时保留关键信息。这种方法类似于图像压缩中的JPEG，但应用于KV缓存。

技术框架：FreqKV的整体流程如下：1. 将KV缓存转换到频域。2. 丢弃高频分量，保留低频分量。3. 将压缩后的频域表示转换回时域。4. 使用压缩后的KV缓存进行后续的语言模型推理。该方法可以迭代地应用于不断增长的KV缓存，将其压缩到固定大小。

关键创新：FreqKV的关键创新在于将频域压缩技术应用于LLM的KV缓存。与现有的上下文窗口扩展方法相比，FreqKV无需引入额外的参数或修改模型架构，具有更好的通用性和易用性。此外，FreqKV通过自适应地调整频域压缩比例，可以在信息损失和压缩率之间取得平衡。

关键设计：FreqKV的关键设计包括：1. 使用离散余弦变换（DCT）将KV缓存转换到频域。2. 设计了一种自适应的阈值选择方法，用于确定要丢弃的高频分量的比例。该阈值可以根据KV缓存的内容动态调整，以最小化信息损失。3. 使用最小二乘法对压缩后的KV缓存进行微调，以进一步提高模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FreqKV在长上下文语言建模和理解任务上取得了显著的性能提升。例如，在某些任务上，FreqKV能够在保持模型性能的同时，将KV缓存的大小压缩到原来的1/4甚至更小。与基线方法相比，FreqKV在长文本生成质量和推理速度方面均有明显优势。

🎯 应用场景

FreqKV可广泛应用于需要处理长文本的场景，例如长篇小说生成、法律文档分析、金融报告解读等。该技术能够显著降低LLM在这些场景下的计算和存储成本，提高推理效率。此外，FreqKV还可以促进LLM在资源受限设备上的部署，例如移动设备和嵌入式系统。

📄 摘要（原文）

Frequency-domain compression has proven effective in reducing redundancies for spatial signals. In this work, we propose FreqKV, a novel frequency domain key-value (KV) compression technique that enables efficient context window extension for decoder-only large language models (LLMs). Our approach is motivated by a key observation that, in the frequency domain, the energy distribution of the KV cache is predominantly concentrated in low-frequency components. By discarding high-frequency components, we achieve efficient compression of the KV cache with minimal information loss. FreqKV iteratively compresses the increasing KV cache to a fixed size in the frequency domain, allowing models to process lengthy contexts efficiently. Introducing no additional parameters or architectural modifications, FreqKV is applicable to both fine-tuning and inference. With minimal fine-tuning, LLMs can learn to leverage the limited cache that is compressed in the frequency domain and extend the context window. Experiments on a range of long context language modeling and understanding tasks demonstrate the efficiency and effectiveness of the proposed method.