Beyond Selection: Token Parameterization for Extreme Visual Token Compression
作者: Rui Zhong, Yu Li, Zheyu Yan, Cheng Zhuo
分类: cs.CV, cs.LG
发布日期: 2026-09-28
备注: Accepted at NeurIPS 2026 (Spotlight). Code: https://github.com/zrrraa/Braco
💡 一句话要点
提出Braco以解决极端视觉令牌压缩问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉令牌压缩 多模态学习 模型优化 高效计算 参数化方法
📋 核心要点
- 现有的视觉令牌压缩方法在极端压缩预算下，令牌修剪可能导致视觉基础的破坏，学习的重采样器则增加了复杂性。
- 论文提出了一种基于令牌参数化的视角，分离基础变换与坐标组织，设计了Braco编码器以优化压缩和学习能力。
- 实验结果显示，Braco在高达144倍的压缩下仍能保持95.2%的准确率，并实现了36%的端到端加速，显著降低了计算成本。
📝 摘要（中文）
视觉令牌压缩在提高视觉语言模型效率方面具有显著效果，但在极端压缩预算下，令牌修剪可能破坏视觉基础，而学习的重采样器则增加了参数数量、注意力成本和训练复杂性。本文通过令牌参数化的视角重新审视压缩，分离基础变换与结构截断和坐标组织。基于此，我们设计了Braco，一个轻量级的四步编码器，结合了变换基础截断、输入无关的基础坐标嵌入、预算相关的正交重参数化和来自轻量池化的学习空间残差令牌。实验表明，Braco在23倍至64倍压缩下形成了良好的准确性-效率边界，并在144倍压缩时仍具竞争力，达到95.2%的准确率，同时相较于未压缩的上限减少了84.2%至86.7%的预填充FLOPs。
🔬 方法详解
问题定义：本文旨在解决在极端视觉令牌压缩下，现有方法导致的视觉基础破坏和训练复杂性增加的问题。现有的令牌修剪和重采样方法在压缩预算极限下表现不佳。
核心思路：论文的核心思路是通过令牌参数化的视角，分离基础变换与坐标组织，从而实现压缩性和可学习性的统一目标。这种设计旨在提高模型的压缩效率和学习能力。
技术框架：Braco的整体架构包括四个主要步骤：变换基础截断、输入无关的基础坐标嵌入、预算相关的正交重参数化，以及通过轻量池化获得的学习空间残差令牌。
关键创新：Braco的主要创新在于其将基础变换和坐标组织分开处理，形成了新的压缩和学习目标的统一函数，显著提高了压缩效率与模型性能。
关键设计：在设计中，Braco采用了输入无关的基础坐标嵌入和预算相关的正交重参数化，确保了在不同压缩预算下的灵活性和有效性，同时通过轻量池化实现了空间残差令牌的学习。
🖼️ 关键图片
📊 实验亮点
Braco在23倍至64倍的压缩下实现了优越的准确性-效率边界，并在144倍压缩时达到95.2%的准确率，相较于未压缩模型减少了84.2%至86.7%的预填充FLOPs。同时，Braco在速度上实现了约36%的端到端加速，展现出显著的性能提升。
🎯 应用场景
该研究在视觉语言模型的压缩与优化方面具有广泛的应用潜力，尤其适用于资源受限的设备和实时处理场景。Braco的设计理念可为未来的多模态学习和高效模型部署提供新的思路，推动相关领域的发展。
📄 摘要（原文）
Visual-token compression is effective for improving the efficiency of vision-language models, but under extreme compression budgets, token pruning can break visual grounding while learned resamplers increase parameter count, attention cost, and training complexity. We revisit compression through a token parameterization lens, separating (i) basis transformation and structured truncation (retained subspace/compressibility) from (ii) coordinate organization (optimization and cross-modal alignment). This view yields two coupled objectives, compressibility and learnability, which we formalize as unified functionals. Guided by these objectives, we design Braco, a lightweight four-step coder that combines transform-basis truncation, input-independent basis-coordinate embeddings, budget-dependent orthogonal re-parameterization, and learned spatial residual tokens from lightweight pooling. Experiments show that Braco forms the favorable empirical accuracy-efficiency frontier under $23\times$--$64\times$ compression and remains competitive at $144\times$, reaching 95.2% accuracy while reducing prefill FLOPs by 84.2%--86.7% relative to the uncompressed upper bound. Against prior methods, Braco matches or improves accuracy while achieving up to approximately 36% end-to-end speedup and using $16.6\times$/$78.8\times$ lower compressor latency/FLOPs.