Selecting What Matters: Semantic Compression-Guided Selective Pooling for Long-Context Embeddings

📄 arXiv: 2609.37782v1 📥 PDF

作者: Zifeng Cheng, Jie Zheng, Zhiwei Jiang, Shuwen Wang, Fei Shen, Shiping Ge, Qing Gu

分类: cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出SCSP框架以解决长文档语义信息稀释问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本处理 语义压缩 信息选择 上下文嵌入 自然语言处理

📋 核心要点

  1. 现有方法在处理长文档时，均匀平均的池化方式可能导致重要语义信息的稀释，影响嵌入质量。
  2. SCSP框架通过语义压缩引导选择信息丰富的标记，优化长上下文嵌入的构建过程。
  3. 实验结果表明，SCSP在多个长上下文嵌入基准上表现优异，显著提升了模型性能。

📝 摘要（中文）

大型语言模型（LLMs）在长上下文嵌入方面展现出强大的潜力，但现有方法通常通过均匀平均所有标记表示来构建嵌入，这可能导致重要语义信息被稀释。为此，本文提出了一种训练无关的SCSP框架，通过语义压缩引导信息丰富的标记选择。SCSP首先将文档划分为句子感知的块，并为每个块附加语义压缩提示。提示隔离的注意力掩码在保留信息流的同时限制每个提示的上下文。通过这些提示引发的注意力模式来估计标记的重要性，选择信息丰富的标记并聚合其中间层表示，最终形成嵌入。大量实验表明，SCSP可以以即插即用的方式集成到零-shot和微调模型中，持续提升其性能。

🔬 方法详解

问题定义：本文旨在解决长文档嵌入中重要语义信息被稀释的问题。现有方法通过均匀平均所有标记表示，无法有效保留关键信息，导致嵌入质量下降。

核心思路：SCSP框架的核心思路是利用语义压缩技术引导信息丰富的标记选择。通过对文档进行句子感知的分块，并为每个块添加语义压缩提示，SCSP能够更好地捕捉重要信息。

技术框架：SCSP的整体架构包括文档分块、提示添加、注意力掩码设计和标记选择四个主要模块。首先，将文档划分为多个句子感知的块，然后为每个块附加语义压缩提示，接着设计提示隔离的注意力掩码以保留信息流，最后通过注意力模式估计标记重要性并进行选择。

关键创新：SCSP的主要创新在于引入了语义压缩提示和提示隔离的注意力掩码，这与现有方法的均匀池化方式形成了本质区别，能够更有效地保留长文档中的重要信息。

关键设计：在SCSP中，注意力掩码的设计确保了每个提示仅关注其对应的局部上下文。此外，选择标记的过程基于注意力模式的计算，确保了最终嵌入的语义丰富性。整体框架无需训练，便于与现有模型集成。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个长上下文嵌入基准上，SCSP框架显著提升了模型性能，尤其在零-shot和微调设置下，平均提升幅度达到X%（具体数据待补充），展示了其强大的适应性和有效性。

🎯 应用场景

SCSP框架在长文本处理、信息检索和自然语言理解等领域具有广泛的应用潜力。通过优化长上下文嵌入的构建，SCSP能够提升文本分类、问答系统和文本生成等任务的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have shown strong potential as training-free text encoders for long-context embeddings. Existing approaches primarily improve information flow under causal attention and typically construct embeddings by uniformly averaging all token representations. However, for long documents, such mean pooling can dilute salient semantic information with abundant redundant or weakly informative content. To this end, we propose SCSP, a training-free framework that leverages semantic compression for informative token selection in long-context embedding. Specifically, SCSP first partitions a document into sentence-aware chunks and appends a semantic compression prompt to each chunk. A prompt-isolated attention mask preserves information flow among document tokens while restricting each prompt to its corresponding local context. We then use the attention patterns elicited by these prompts to estimate token importance, select informative tokens, and aggregate their intermediate-layer representations into the final embedding. Extensive experiments on long-context embedding benchmarks demonstrate that SCSP can be integrated into both zero-shot and fine-tuned models in a plug-and-play manner, consistently improving their performance.