OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

📄 arXiv: 2602.22286 📥 PDF

作者: Yan Zhao, Zhengxue Cheng, Junxuan Zhang, Dajiang Zhou, Qunshan Gu, Qi Wang, Li Song

分类: cs.LG, cs.IT

发布日期: 2026-02-28

💡 一句话要点

OmniZip：学习一种统一轻量化的多模态数据无损压缩器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无损压缩 多模态学习 数据压缩 边缘计算 统一模型 轻量化模型 上下文建模

📋 核心要点

  1. 现有学习型无损压缩器大多针对单一模态，多模态场景下部署冗余，缺乏统一性。
  2. OmniZip通过模态统一的tokenizer、路由上下文学习和路由前馈设计，实现多模态数据的高效压缩。
  3. 实验表明，OmniZip在多种模态上优于或匹配SOTA压缩器，并在边缘设备上实现近实时推理。

📝 摘要（中文）

无损压缩对于高效的数据存储和传输至关重要。虽然基于学习的无损压缩器取得了显著成果，但它们大多是为单一模态设计的，导致在多模态环境中部署了冗余的压缩器。设计一种统一的多模态压缩器至关重要但具有挑战性，因为不同的数据类型在格式、维度和统计数据上差异很大。多模态大型语言模型提供了一种有希望的解决方案，但对于实际使用来说仍然过于复杂。因此，我们提出了OmniZip，一种用于多模态数据（如图像、文本、语音、触觉、数据库和基因序列）的统一且轻量级的无损压缩器。OmniZip建立在轻量级骨干网络之上，包含三个关键组件，以实现高效的多模态无损压缩：一个模态统一的tokenizer，可逆地将各种数据转换为token；一种模态路由上下文学习机制，可实现灵活的多模态上下文建模；以及一种模态路由前馈设计，进一步增强模型的非线性表示灵活性。使用重参数化训练策略来增强模型容量。OmniZip在多种模态上优于或匹配其他最先进的压缩器，在CLIC-M、TouchandGo、enwik9、LibriSpeech和WikiSQL数据集上，分别比gzip实现了42%、57%、62%和42%、53%的压缩效率提升。它还支持在资源受限的边缘设备上进行近实时推理，在MacBook CPU和iPhone NPU上达到约1MB/s。

🔬 方法详解

问题定义：论文旨在解决多模态数据无损压缩的问题。现有方法主要针对单一模态设计，导致在多模态场景下需要部署多个压缩器，造成资源浪费和管理复杂性。此外，直接应用大型多模态模型进行压缩，计算成本过高，难以在资源受限的设备上部署。

核心思路：OmniZip的核心思路是设计一个统一的、轻量级的模型，能够处理多种模态的数据，并实现高效的无损压缩。通过模态统一的tokenizer将不同模态的数据转换为统一的token表示，然后利用模态路由机制进行上下文建模和特征提取，从而实现对多模态数据的有效压缩。

技术框架：OmniZip的整体架构包含三个主要模块：1) 模态统一的Tokenizer：将不同模态的数据转换为统一的token序列。2) 模态路由上下文学习：利用路由机制学习不同模态之间的上下文关系。3) 模态路由前馈网络：增强模型的非线性表示能力。此外，还采用了重参数化训练策略来提升模型容量。

关键创新：OmniZip的关键创新在于其统一的多模态压缩框架，能够处理多种不同类型的数据。与现有方法相比，OmniZip不需要为每种模态单独训练压缩器，从而大大降低了部署和维护成本。此外，OmniZip的轻量级设计使其能够在资源受限的设备上运行。

关键设计：模态统一的Tokenizer的设计需要考虑不同模态数据的特性，例如图像可以使用量化和编码技术，文本可以使用词汇表映射，音频可以使用频谱分析等。模态路由上下文学习机制可以使用注意力机制或Transformer结构来实现。重参数化训练策略可以采用谱归一化或权重衰减等方法来防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniZip在多个数据集上取得了显著的压缩效率提升。例如，在CLIC-M数据集上，OmniZip比gzip提高了42%的压缩效率；在TouchandGo数据集上，提高了57%；在enwik9数据集上，提高了62%；在LibriSpeech数据集上，提高了42%；在WikiSQL数据集上，提高了53%。此外，OmniZip还支持在MacBook CPU和iPhone NPU上进行近实时推理，速度达到约1MB/s。

🎯 应用场景

OmniZip可应用于各种需要高效存储和传输多模态数据的场景，例如多媒体内容分发、医疗影像存储、基因组数据压缩、物联网设备数据传输等。其轻量级设计使其特别适合在资源受限的边缘设备上部署，例如智能手机、嵌入式系统等，具有广阔的应用前景。

📄 摘要（原文）

Lossless compression is essential for efficient data storage and transmission. Although learning-based lossless compressors achieve strong results, most of them are designed for a single modality, leading to redundant compressor deployments in multi-modal settings. Designing a unified multi-modal compressor is critical yet challenging, as different data types vary largely in format, dimension, and statistics. Multi-modal large language models offer a promising resolution but remain too complex for practical use. Thus, we propose \textbf{OmniZip}, \textbf{a unified and lightweight lossless compressor for multi-modal data (like image, text, speech, tactile, database, and gene sequence)}. Built on a lightweight backbone, OmniZip incorporates three key components to enable efficient multi-modal lossless compression: a modality-unified tokenizer that reversibly transforms diverse data into tokens, a modality-routing context learning mechanism that enables flexible multi-modal context modeling, and a modality-routing feedforward design that further enhances the model's nonlinear representation flexibility. A reparameterization training strategy is used to enhance model capacity. OmniZip outperforms or matches other state-of-the-art compressors on multiple modalities, achieving 42\%, 57\%, 62\% and 42\%, 53\% higher compression efficiency than gzip on CLIC-M, TouchandGo, enwik9, LibriSpeech, and WikiSQL datasets, respectively. It also supports near real-time inference on resource-constrained edge devices, reaching about 1MB/s on MacBook CPUs and iPhone NPUs. Our code is released atthis https URL.