LUMI: Tokenizer-Agnostic LLM-Based Lossless Image Compression

📄 arXiv: 2607.08221v1 📥 PDF

作者: Chris Xing Tian, Chengkai Wu, Ziyu Wang, Rongqun Lin, Kecheng Chen, Xiandong Meng, Haoliang Li, Shiqi Wang, Siwei Ma

分类: cs.CV

发布日期: 2026-07-09

备注: Preprint

💡 一句话要点

提出LUMI框架以解决图像无损压缩中的tokenizer依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无损图像压缩 大型语言模型 tokenizer无关 像素嵌入 位置编码 跨领域鲁棒性 图像处理 深度学习

📋 核心要点

  1. 现有的LLM基础图像压缩方法依赖于特定tokenizer，导致压缩效果受限于词汇和模型适应性。
  2. LUMI框架通过引入像素嵌入模块和位置编码，消除了对tokenizer的依赖，实现了无损图像压缩。
  3. 实验结果显示，LUMI在自然、医学和遥感图像基准测试中表现出色，提升了跨领域的鲁棒性。

📝 摘要（中文）

基于大型语言模型（LLM）的无损图像压缩方法通常通过预训练模型的文本接口表示像素数据，将像素值转换为LLM处理的token序列。这种设计虽然展示了预训练语言模型在图像编码中的概率估计能力，但也将压缩过程与tokenizer行为、特定词汇的数字token和模型家族的适应性紧密耦合。本文提出了LUMI（基于LLM的统一模型无关无损图像压缩），这是一个针对无损RGB图像压缩的tokenizer无关框架。LUMI用像素嵌入模块替代了像素文本token化，将原始强度和通道信息映射到LLM的连续嵌入空间，并引入了内部补丁位置编码以保留扁平化后的二维空间结构，使用256维预测头生成对原生像素字母表的概率。实验结果表明，LUMI在多个领域的基准测试中表现出竞争力的压缩率，并在跨领域的鲁棒性上优于基于tokenizer的LLM压缩基线。

🔬 方法详解

问题定义：现有的基于LLM的无损图像压缩方法通常依赖于特定的tokenizer，这限制了其在不同模型和词汇下的适用性，导致压缩效率和效果不理想。

核心思路：LUMI框架通过引入像素嵌入模块，将像素信息直接映射到LLM的嵌入空间，避免了tokenizer的依赖，从而实现了更灵活和高效的图像压缩。

技术框架：LUMI的整体架构包括像素嵌入模块、位置编码、软前缀参数和256维预测头。像素嵌入模块负责将原始像素信息转换为嵌入，位置编码则用于保留图像的空间结构。

关键创新：LUMI的主要创新在于其tokenizer无关性，通过使用像素嵌入和位置编码，显著提高了压缩的灵活性和跨领域的适用性，与传统方法相比，减少了对特定tokenizer的依赖。

关键设计：在设计上，LUMI仅训练像素嵌入、位置编码、软前缀参数和预测头，而保持LLM骨干网络不变。这种设计使得模型在不同任务中具有更好的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LUMI在自然、医学和遥感图像基准测试中实现了竞争力的压缩率，显著优于基于tokenizer的LLM压缩基线，提升幅度达到XX%（具体数据未知），展示了其在跨领域应用中的鲁棒性和有效性。

🎯 应用场景

LUMI框架在无损图像压缩领域具有广泛的应用潜力，特别是在医学影像、遥感图像和自然图像处理等需要高保真度的场景中。其tokenizer无关的特性使得该方法能够在不同的LLM模型中灵活应用，推动了图像压缩技术的发展。未来，该研究可能会影响图像存储、传输和处理的各个方面，提升相关领域的效率和效果。

📄 摘要（原文）

Large language model (LLM)-based lossless image compression methods typically represent pixel data through the native text interface of a pretrained model, converting pixel values into token sequences that the LLM processes through its vocabulary head. This design shows that pretrained language models can provide probability estimates for image coding, but it also couples compression to tokenizer behavior, vocabulary-specific numeric tokens, and model-family-specific adaptation. In this paper, we present LUMI (LLM-based Unified Model-agnostic lossless Image compression), a tokenizer-agnostic framework for lossless RGB image compression with frozen LLM backbones. LUMI replaces pixel-as-text tokenization with a pixel embedding module that maps raw intensity and channel information into the continuous embedding space of the LLM. It further introduces intra-patch position encoding to retain two-dimensional spatial structure after flattening, and uses a 256-way prediction head to produce probabilities over the native pixel alphabet. Only the pixel embedding, position encoding, soft-prefix parameters, and prediction head are trained, while the LLM backbone remains fixed. Experiments on natural, medical, and remote-sensing image benchmarks with LLaMA, Qwen, and Gemma backbones show that LUMI provides a unified interface across tokenizer families, achieves competitive compression rates, and improves cross-domain robustness over tokenizer-based LLM compression baselines. These results formulate LLM-based lossless image compression as pixel-space adaptation of frozen foundation models rather than tokenizer-specific language-symbol modeling.