Rethinking Generative Image Compression at Extremely Low Bitrates

📄 arXiv: 2609.39315v1 📥 PDF

作者: Tianyu Zhang, Zhaoyang Jia, Houqiang Li, Dong Liu

分类: cs.CV

发布日期: 2026-09-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出RAE-CoD以解决极低比特率下图像压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成图像压缩 低比特率 语义保留 扩散模型 自编码器

📋 核心要点

  1. 现有生成图像压缩方法在极低比特率下表现不佳，容易导致语义崩溃，生成内容失真。
  2. 本文提出RAE-CoD，通过在表示自编码器空间中直接对齐压缩和源表示，改善低比特率下的图像重建效果。
  3. 实验结果显示，RAE-CoD在0.001-0.008 bpp的比特率下，相较于最佳竞争者，特征均方误差减少至少25.7%，Fréchet距离比率降低69.1%。

📝 摘要（中文）

生成图像压缩在低比特率下能够产生视觉上合理的重建，但当比特率接近零时，其行为尚未得到充分探索。现有编码器在比特率降低时会出现语义崩溃，导致生成内容失真。本文分析指出，重建损失与语义目标之间的冲突，以及VAE扩散模型在语义保留上的效率降低。基于这些发现，提出了RAE-CoD，这是一种在表示自编码器空间中构建的压缩导向扩散模型，能够在仅16比特的情况下保留256x256图像的可识别内容。实验结果表明，RAE-CoD在MSCOCO-30K数据集上表现优异，显著降低了特征均方误差和Fréchet距离，同时保持了重建的语义可识别性和质量。

🔬 方法详解

问题定义：本文旨在解决在极低比特率下生成图像压缩方法的语义崩溃问题。现有方法在比特率降低时，重建内容往往失真，无法保持语义一致性。

核心思路：RAE-CoD通过在表示自编码器空间中构建压缩导向扩散模型，直接对齐压缩表示与源表示，从而在极低比特率下保留可识别的自然结构内容。

技术框架：该方法的整体架构包括表示自编码器（RAE）和压缩导向扩散模型（CoD），通过优化重建损失与语义目标的对齐，提升图像重建质量。

关键创新：RAE-CoD的核心创新在于其在表示自编码器空间中实现了压缩与源表示的直接对齐，这一设计显著改善了低比特率下的语义保留能力。

关键设计：在模型设计中，采用了特定的损失函数以平衡重建损失与语义目标，同时优化了网络结构以提高在低比特率下的重建效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAE-CoD在MSCOCO-30K数据集上的实验结果显示，在0.001-0.008 bpp的比特率范围内，相较于最佳竞争者，特征均方误差减少至少25.7%，Fréchet距离比率降低69.1%。同时，重建的语义可识别性和质量保持几乎不变，展现出优越的性能。

🎯 应用场景

该研究的潜在应用领域包括图像存储、传输和处理等场景，尤其适用于带宽受限的环境，如移动设备和低速网络。RAE-CoD的设计能够在极低比特率下保持图像的可识别性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generative image compression produces visually plausible reconstructions at low bitrates, yet their behavior as the rate approaches zero remains largely unexplored. When pushed below normal operating rates, representative codecs undergo semantic collapse: rather than gracefully losing source-specific detail, they produce malformed or unrecognizable content. Our analysis identifies two factors. As the bitrate decreases, reconstruction losses increasingly conflict with semantic objectives on gradients and visual results, while pixel-space and reconstruction-oriented VAE diffusion models become less efficient on semantic preservation. Guided by these findings, we introduce RAE-CoD, a compression-oriented diffusion (CoD) built in a representation autoencoder (RAE) space with direct alignment between compressed and source representations, preserving recognizable, naturally structured content for a $256\times256$ image with as few as 16 bits. We evaluate this framework using five vision foundation models (VFM) and a blinded vision-language model protocol. On MSCOCO-30K, RAE-CoD stands out from all evaluation. At 0.001-0.008 bpp, it reduces relative VFM feature MSE and Fréchet Distance ratio by at least 25.7% and 69.1% over the best competitors. Meanwhile, semantic recognizability and quality of the reconstructions remain nearly constant while source consistency falls smoothly, replacing abrupt semantic collapse with a graceful transition toward unconditional generation. Code will be released at https://github.com/LuizScarlet/RAE-CoD.