Prompt Compression via Activation Aggregation

📄 arXiv: 2607.08399v1 📥 PDF

作者: Thibaud Ardoin, Semira Einsele, Evis Bregu, Gerhard Wunder

分类: cs.CL, cs.LG

发布日期: 2026-07-09

💡 一句话要点

通过激活聚合实现提示压缩以提升语言模型效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 激活聚合 提示压缩 计算效率 自然语言处理

📋 核心要点

  1. 现有方法在处理大型语言模型时，需通过多个层级传播激活，导致计算效率低下。
  2. 论文提出通过学习的加权激活聚合，将任务相关信息压缩为单一激活向量，替代原始令牌序列。
  3. 实验结果显示，压缩后的激活向量在保持高准确率的同时，显著降低了计算需求。

📝 摘要（中文）

大型语言模型通过多个层级传播激活来处理提示。本文探讨是否可以将指令提示中的任务相关信息压缩为单一激活向量，并将其重新注入模型以替代原始的令牌序列。研究表明，通过学习的加权激活和在目标语言模型的早期层注入，可以实现这一目标。压缩向量保留了任务相关信息，准确率相较于完整提示处理仅下降不到2%。该方法不仅减少了固定指令提示的每次查询计算量，还揭示了语言模型激活空间的结构特征。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理提示时的计算效率低下问题。现有方法需要通过多个层级传播激活，导致计算资源消耗大。

核心思路：论文提出将任务相关信息压缩为单一激活向量，并通过学习的加权和在模型的早期层注入，以替代原始的令牌序列。这种设计旨在减少计算负担，同时保持模型的性能。

技术框架：整体架构包括三个主要阶段：首先，从中间层提取激活；其次，使用加权和聚合这些激活；最后，将压缩后的激活向量注入到模型的早期层。

关键创新：最重要的技术创新在于提出了一种有效的激活聚合方法，使得单一激活向量能够有效编码任务相关信息，并且与现有方法相比，显著提高了计算效率。

关键设计：在参数设置上，采用了加权和的方式来聚合激活，确保压缩后的向量能够保留足够的语义信息。损失函数设计上，关注于保持任务相关的准确性，同时优化计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用压缩的激活向量进行提示处理，准确率仅下降不到2%，同时显著降低了计算需求。这一方法在固定指令提示的场景下，展示了优越的性能，具有良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过减少每次查询的计算需求，能够在资源受限的环境中提升大型语言模型的应用效率，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Large language models process prompts by propagating activations through dozens of layers before generating a response. We ask whether the task-relevant information contained in an instruction prompt can be compressed into a single activation vector and re-injected into the model, replacing the original token sequence? We show this is achievable using a learned weighted sum of activations extracted at an intermediate layer and injected at an early layer of the target LLM. The compressed vector preserves task-relevant information, incurring an accuracy drop of under $2\%$ relative to full prompt processing. Beyond its practical implications, including reducing per-query computation for fixed instruction prompts without reprocessing the original token sequence, our analysis reveals structure in the activation space of LLMs: (i) mid-layer representations transfer meaningfully to early layers, suggesting a degree of cross-layer compatibility in how information is encoded; (ii) a single activation vector encodes a quantifiable and recoverable amount of semantic information; (iii) a weighted sum of activations is a robust representation compressor.