SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning

📄 arXiv: 2610.10304v1 📥 PDF

作者: Mingyan Liu, Min Huang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-07

💡 一句话要点

提出SemanticFold以解决大语言模型推理能力压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在序列压缩 语言模型 推理能力 SemanticFold 负对数似然性 模型评估 学习边界

📋 核心要点

  1. 现有方法在压缩提示前缀时可能会影响大型语言模型的推理能力，导致能力丧失。
  2. 提出SemanticFold，通过在学习边界处折叠前缀隐藏状态来实现潜在序列压缩，旨在保留推理能力。
  3. 实验结果显示，在不同模型上，压缩对负对数似然性（NLL）和推理准确性影响不一，未发现单一压缩阈值。

📝 摘要（中文）

本研究探讨了提示前缀的潜在序列压缩是否保留了大型语言模型在推理过程中所依赖的能力。我们提出了SemanticFold，一种在学习边界处折叠前缀隐藏状态的压缩方案，并在五种模型规模上进行了评估。通过固定目标协议，我们排除了目标选择对似然变化的解释。实验结果表明，压缩对多个端点的影响是非单调的，且不同端点之间并不存在单一的压缩阈值。我们发现，在Qwen3-1.7B模型中，压缩比为1.7时，压缩后的负对数似然性（NLL）比原生模型降低了0.135，而在SmolLM2中，NLL变化为0.013。最终结论是，潜在压缩下的能力保留并没有单一的标量证书。

🔬 方法详解

问题定义：本研究旨在解决在压缩提示前缀时，大型语言模型推理能力的保留问题。现有方法在压缩过程中可能导致模型能力的丧失，影响推理效果。

核心思路：论文提出的SemanticFold方法通过在学习边界处折叠前缀隐藏状态，实现潜在序列的压缩，旨在在压缩的同时保留模型的推理能力。

技术框架：整体架构包括固定目标协议的设计，模型在执行原生和压缩前缀时的对比，以及对五个端点的评估，包括负对数似然性、推理准确性等。

关键创新：SemanticFold的主要创新在于其折叠机制，允许在不显著损失推理能力的情况下实现序列压缩。这与现有方法的简单压缩策略形成了鲜明对比。

关键设计：在实验中，使用了固定的压缩比和多种模型进行评估，采用了成对自助法进行统计分析，确保了结果的可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在Qwen3-1.7B模型中，压缩比为1.7时，压缩后的负对数似然性（NLL）比原生模型降低了0.135，而在SmolLM2中，NLL变化为0.013，表明不同模型对压缩的响应不同，未发现单一的压缩阈值。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理、对话系统和智能助手等领域。通过优化模型的推理能力和压缩效率，SemanticFold可以提高模型在实际应用中的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We study whether latent sequence compression of prompt prefixes preserves the capabilities that large language models rely on during inference. We introduce SemanticFold, a compression scheme that folds prefix hidden states at learned boundaries, and evaluate it across five model scales: Qwen3-1.7B, Qwen3-8B, SmolLM2-1.7B, Pythia-1.4B, and Pythia-6.9B. We use a fixed-target protocol: a frozen prefix is executed natively or compressed, and both arms teacher-force identical continuation tokens. This design rules out target-selection explanations for likelihood changes. We examine five endpoint families: fixed-target negative log-likelihood, finite-label reasoning accuracy, linear probe accessibility, open-ended generation, and systems-level memory and latency. We find that compression moves these endpoints non-monotonically and that they do not share a single compression threshold. On Qwen3-1.7B at compression ratio R=1.7, compressed-minus-native mean NLL decreases by 0.135 under paired bootstrap with 10000 draws. On SmolLM2 at R=1.2, the mean change is 0.013 higher than native. On both Pythia checkpoints, NLL is effectively unchanged. An NLL decomposition separating sequence shortening from the learned residual transform shows that the favorable Qwen likelihood is attributable primarily to residual adaptation rather than to shortening alone. MLP-only, which applies the transform without shortening, achieves 0.082 lower NLL than Full SemanticFold. Linear probe accuracy and macro AUC change by less than 0.03 in absolute value across conditions, with confidence intervals crossing zero. We conclude that preservation under latent compression has no single scalar certificate: language-model fit, decodability, and reasoning behavior answer different questions and can move in different directions under the same compression operation.