Rethinking Sequence Compression with Test-time Regression

📄 arXiv: 2610.31574v1 📥 PDF

作者: Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu

分类: cs.LG

发布日期: 2026-10-22

备注: Technical report (19 pages, 4 figures, project page: https://spherelab.ai/ttr-compressor)

💡 一句话要点

提出TTR-Compressor以解决序列压缩效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列压缩 测试时回归 多模态模型 块状稀疏注意力 视觉标记合并 高效学习 信息瓶颈

📋 核心要点

  1. 现有的序列压缩方法主要依赖池化或学习投影，导致性能不足，成为信息处理的瓶颈。
  2. 本文提出了一种新的序列压缩方法TTR-Compressor，通过测试时回归将输入标记转化为压缩表示，支持端到端学习。
  3. 实验结果显示，TTR-Compressor在块状稀疏注意力中显著提升了性能，并在视觉标记合并中减少了视觉标记数量，同时保持了性能。

📝 摘要（中文）

序列压缩是高效语言和多模态模型中的基本操作和信息瓶颈，现有基于池化或学习投影的方法表现不佳。本文通过测试时回归的视角重新审视序列压缩：输入标记定义了一个回归问题，其拟合系数形成压缩表示。重要的是，该回归问题通过反向传播端到端学习，而其系数在前向传播中以闭式形式高效计算。这导致了TTR-Compressor的提出，作为传统池化和投影压缩的通用替代方案。我们将TTR-Compressor评估为块状稀疏注意力的压缩器和多模态大语言模型的视觉标记合并器。在块状稀疏注意力中，TTR-Compressor显著提高了RULER性能。在视觉标记合并中，它在减少55.6%视觉标记的情况下，始终优于标准的MLP合并器。结果表明，测试时回归是高效语言和多模态模型中序列压缩的有效原语。

🔬 方法详解

问题定义：本文旨在解决现有序列压缩方法在性能和效率上的不足，尤其是在语言和多模态模型中的应用场景。现有方法如池化和学习投影未能有效处理信息瓶颈问题。

核心思路：论文提出通过测试时回归来重新定义序列压缩，将输入标记视为回归问题，其拟合系数作为压缩表示。这种方法允许端到端学习，并在前向传播中高效计算系数。

技术框架：整体架构包括输入标记的回归建模、通过反向传播学习回归系数，以及在前向传播中利用闭式解进行高效计算。主要模块包括回归模型、损失函数设计和压缩表示生成。

关键创新：TTR-Compressor的核心创新在于将测试时回归引入序列压缩，区别于传统的池化和投影方法，提供了一种新的思路来处理信息压缩问题。

关键设计：在设计中，采用了适合的损失函数以优化回归模型的性能，并通过调整网络结构来提高压缩效果，确保在计算效率和压缩质量之间取得平衡。

📊 实验亮点

实验结果表明，TTR-Compressor在块状稀疏注意力中显著提高了RULER的性能，相较于基于注意力的压缩器提升幅度显著。同时，在视觉标记合并中，TTR-Compressor以减少55.6%的视觉标记数量，依然保持与标准MLP合并器相当的性能，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉以及多模态学习等。通过提高序列压缩的效率，TTR-Compressor能够在大规模模型中实现更快的推理速度和更低的计算资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Sequence compression is a fundamental operation and a critical information bottleneck in efficient language and multimodal models, and yet prevailing approaches based on pooling or learned projections remain underperforming. We revisit sequence compression through the lens of test-time regression: input tokens define a regression problem whose fitted coefficients form the compressed representation. Importantly, the regression problem is learned end-to-end via backpropagation, while its coefficients are computed efficiently in closed form during the forward pass. This leads to TTR-Compressor, a general alternative to conventional pooling and projection-based compression. We evaluate TTR-Compressor as the compressor for block-wise sparse attention and the visual token merger for multimodal large language models. On block-wise sparse attention, TTR-Compressor improves RULER performance over attention-based compressors by a large margin. For visual token merging, it consistently outperforms the standard MLP merger and matches its performance with 55.6% fewer visual tokens. These results establish test-time regression as an effective primitive for sequence compression in efficient language and multimodal models.