StructKV: Preserving the Structural Skeleton for Scalable Long-Context Inference

📄 arXiv: 2604.06746v1 📥 PDF

作者: Zhirui Chen, Peiyang Liu, Ling Shao

分类: cs.CL

发布日期: 2026-04-08

备注: Accepted to ACL 2026 Findings, 14 pages

💡 一句话要点

StructKV：通过保留结构骨架实现可扩展的长上下文推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 KV缓存压缩 全局信息枢纽 注意力机制 结构感知 大型语言模型 模型优化

📋 核心要点

  1. 现有长上下文LLM推理面临KV缓存线性增长带来的内存和带宽瓶颈。
  2. StructKV通过全局入度中心性识别信息枢纽，动态选择压缩层，并解耦计算与存储预算。
  3. 实验表明，StructKV在长程依赖和检索鲁棒性方面表现出色，有效提升了长上下文推理性能。

📝 摘要（中文）

随着大型语言模型(LLM)扩展到支持超过一百万个token的上下文窗口，Key-Value(KV)缓存的线性增长带来了严重的内存容量和带宽瓶颈，限制了长上下文推理的效率。现有的压缩方法通常优先考虑基于局部显著性指标的token，以将预填充计算与解码内存解耦。然而，这些方法通常依赖于特定层的局部显著性快照，从而系统地丢弃了那些在整个网络深度中充当全局信息枢纽，但在所选定用于剪枝的特定层中暂时处于休眠状态的token。为了解决这个局限性，我们提出了StructKV，一个结构感知的KV缓存压缩框架，它引入了三个核心创新：首先，全局入度中心性聚合了整个网络深度的注意力模式，以识别全局信息枢纽。其次，动态枢轴检测利用信息论指标自适应地定位用于压缩的最佳层。最后，结构传播和解耦将计算预算与内存存储预算分离。在LongBench和RULER基准测试上的实验结果表明，StructKV有效地保留了长程依赖关系和检索鲁棒性。

🔬 方法详解

问题定义：长上下文大型语言模型（LLM）推理面临的主要问题是KV缓存的线性增长，导致内存容量和带宽成为瓶颈。现有的压缩方法通常基于局部显著性来选择保留的token，但忽略了那些在全局范围内重要的信息枢纽，这些token可能在特定层并不显著，从而导致长程依赖关系的丢失。

核心思路：StructKV的核心思路是结构感知的KV缓存压缩，旨在保留那些在整个网络结构中扮演重要角色的token，即使它们在某些层并不突出。通过识别和保留这些全局信息枢纽，StructKV能够更有效地维护长程依赖关系，从而提高长上下文推理的性能。

技术框架：StructKV包含三个主要模块：1) 全局入度中心性（Global In-Degree Centrality）：用于识别全局信息枢纽，通过聚合整个网络深度的注意力模式来实现。2) 动态枢轴检测（Dynamic Pivot Detection）：用于自适应地选择进行压缩的最佳层，利用信息论指标来确定。3) 结构传播和解耦（Structural Propagation and Decoupling）：用于将计算预算与内存存储预算分离，从而实现更灵活的资源分配。整体流程是首先计算全局入度中心性，然后利用动态枢轴检测选择压缩层，最后进行结构传播和解耦，完成KV缓存的压缩。

关键创新：StructKV的关键创新在于其结构感知的压缩方法，它不同于以往基于局部显著性的方法。通过引入全局入度中心性，StructKV能够识别那些在整个网络结构中重要的信息枢纽，从而避免了因局部信息丢失而导致的长程依赖关系断裂。动态枢轴检测则保证了在最合适的层进行压缩，进一步提高了压缩效率。

关键设计：全局入度中心性的计算涉及对所有注意力头的注意力权重进行聚合，以确定每个token的重要性。动态枢轴检测使用信息论指标（例如熵）来评估不同层的压缩潜力，并选择熵降低最大的层作为压缩层。结构传播和解耦通过引入额外的参数来控制计算和存储之间的平衡，允许根据具体任务的需求进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StructKV在LongBench和RULER基准测试上取得了显著的性能提升。实验结果表明，StructKV能够有效地保留长程依赖关系和检索鲁棒性，在各种长上下文任务上优于现有的压缩方法。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

StructKV具有广泛的应用前景，尤其是在需要处理超长文本序列的场景中，例如长篇文档摘要、代码生成、对话系统和科学研究等。通过降低内存需求和提高推理效率，StructKV可以使LLM在资源受限的环境中也能高效运行，并推动长上下文LLM在实际应用中的普及。

📄 摘要（原文）

As Large Language Models (LLMs) scale to support context windows exceeding one million tokens, the linear growth of Key-Value (KV) cache imposes severe memory capacity and bandwidth bottlenecks, constraining the efficiency of long-context inference. Existing compression approaches typically prioritize tokens based on local saliency metrics to decouple prefill computation from decoding memory. However, these methods often rely on local saliency snapshots at a specific layer, thereby systematically discarding tokens that act as global information hubs across the network depth but appear temporarily dormant at the specific layer selected for pruning. To address this limitation, we propose StructKV, a structure-aware KV cache compression framework that introduces three core innovations: First, Global In-Degree Centrality aggregates attention patterns across the network depth to identify global information hubs. Second, Dynamic Pivot Detection utilizes information-theoretic metrics to adaptively locate the optimal layer for compression. Finally, Structural Propagation and Decoupling separates the computational budget from the memory storage budget. Experimental results on the LongBench and RULER benchmarks demonstrate that StructKV effectively preserves long-range dependencies and retrieval robustness.