PrismQuant: Rate-Distortion-Optimal Vector Quantization for Gaussian-Mixture Sources
作者: Bumsu Park, Chanho Park, Youngmok Park, Namyoon Lee
分类: cs.IT, cs.AI, cs.LG
发布日期: 2026-05-15
💡 一句话要点
PrismQuant：针对高斯混合源的率失真最优矢量量化方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 率失真优化 矢量量化 高斯混合模型 变换编码 信道状态信息
📋 核心要点
- 传统变换编码在高斯源上率失真最优，但在多模态源上失效，无法有效捕获异构局部几何结构。
- 论文提出PrismQuant，通过对高斯混合源进行建模，利用分量匹配的KLT和标量量化实现率失真优化。
- 实验表明，PrismQuant在合成数据上接近理论界限，在真实CSI数据上优于或匹敌Transformer编解码器，且模型更小。
📝 摘要（中文）
针对均方误差（MSE）下的高斯源，经典的变换编码是率失真（RD）最优的：Karhunen-Loeve变换（KLT）对协方差进行对角化，反向注水算法分配比特，标量量化完成闭环。但对于多模态源，这种优雅的方法失效，因为没有单一协方差能捕获异构的局部几何结构，且RD函数失去其闭合形式。本文重新审视了高斯混合源的问题，并为其开发了一种建设性的RD理论。关键发现是混合结构仅产生分量标签成本。在给定激活的混合分量条件下，每个分支都是高斯的；挑战在于跨异构分支分配比特。证明了genie-aided条件RD函数受所有分量和特征模式共享的单一全局反向注水水平控制。基于此，引入PrismQuant，它无损地传输分量标签，并使用分量匹配的KLT对残差进行编码，然后进行标量量化，实现H(C)/n比特/源维度的速率，且具有消失的渐近间隙。进一步开发了一种基于EM驱动的高斯混合学习、分量自适应KLT和熵约束标量量化（ECSQ）的实用实现。合成高斯混合的实验表明，PrismQuant接近理论RD界限，而真实世界信道状态信息（CSI）数据的实验表明，与基于Transformer的学习编解码器相比，PrismQuant具有竞争性或更优越的性能，且模型尺寸小一个数量级以上。
🔬 方法详解
问题定义：论文旨在解决多模态数据源的率失真优化问题，特别是针对高斯混合源。传统方法如KLT变换编码在高斯分布下表现良好，但无法有效处理具有多个模式的数据分布，导致编码效率降低。现有方法的痛点在于无法有效利用多模态数据的内在结构，导致率失真性能不佳。
核心思路：论文的核心思路是将多模态数据源建模为高斯混合模型（GMM），并利用GMM的结构信息进行率失真优化。核心在于将编码过程分解为两个阶段：首先，无损地编码GMM的分量标签；然后，针对每个分量，使用匹配的KLT变换和标量量化对残差进行编码。这样做的原因是，在给定分量标签的情况下，每个分支都是高斯分布，可以利用传统的率失真理论进行优化。
技术框架：PrismQuant的整体框架包括以下几个主要模块：1) 高斯混合模型学习：使用EM算法学习数据的GMM表示。2) 分量自适应KLT变换：针对每个GMM分量，计算其协方差矩阵，并进行KLT变换。3) 熵约束标量量化（ECSQ）：对KLT变换后的系数进行标量量化，并使用熵编码进一步压缩。4) 分量标签编码：无损地编码GMM分量标签。整个流程旨在利用GMM的结构信息，实现率失真优化。
关键创新：论文最重要的技术创新点在于提出了针对高斯混合源的率失真理论，并证明了genie-aided条件RD函数受所有分量和特征模式共享的单一全局反向注水水平控制。与现有方法的本质区别在于，PrismQuant能够显式地利用多模态数据的结构信息，从而实现更好的率失真性能。
关键设计：关键设计包括：1) 使用EM算法进行GMM学习，以获得数据的最佳GMM表示。2) 针对每个GMM分量，计算其协方差矩阵，并进行KLT变换，以实现能量集中。3) 使用熵约束标量量化（ECSQ）对KLT变换后的系数进行量化，以实现率失真优化。4) 无损地编码GMM分量标签，以避免引入额外的失真。这些设计共同保证了PrismQuant的率失真性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PrismQuant在合成高斯混合数据上能够接近理论率失真界限。在真实世界的信道状态信息（CSI）数据上，PrismQuant的性能优于或匹敌基于Transformer的学习编解码器，同时模型尺寸小一个数量级以上。例如，在CSI数据集上，PrismQuant在相似的率失真性能下，模型大小仅为Transformer编解码器的十分之一。
🎯 应用场景
PrismQuant可应用于各种需要高效数据压缩的场景，例如无线通信中的信道状态信息（CSI）反馈、图像和视频压缩、以及传感器数据压缩等。该方法能够有效利用多模态数据的内在结构，实现更高的压缩效率，从而降低存储和传输成本，并提高系统性能。未来，PrismQuant有望在物联网、移动通信和多媒体等领域得到广泛应用。
📄 摘要（原文）
For a Gaussian source under mean-squared error (MSE), classical transform coding is rate--distortion (RD) optimal: the Karhunen--Loeve transform (KLT) diagonalizes the covariance, reverse waterfilling allocates the bits, and scalar quantization closes the loop. This elegant story breaks down for multimodal sources, where no single covariance can capture heterogeneous local geometries, and the RD function loses its closed form. We revisit this problem through Gaussian-mixture sources and develop a constructive RD theory for them. Our key finding is that the mixture structure incurs only a component label cost. Conditioned on the active mixture component, each branch is Gaussian; the challenge is allocating bits across heterogeneous branches. We prove that the genie-aided conditional RD function is governed by a single global reverse-waterfilling level shared across all components and eigenmodes. Building on this result, we introduce PrismQuant, which transmits the component label losslessly and encodes the residual using the component-matched KLT, followed by scalar quantization, achieving a rate of H(C)/n bits per source dimension of the converse, with a vanishing asymptotic gap. We further develop a practical implementation based on EM-driven Gaussian-mixture learning, component-adaptive KLTs, and entropy-constrained scalar quantization (ECSQ). Experiments on synthetic Gaussian mixtures show that PrismQuant closely approaches the theoretical RD bound, while experiments on real-world channel-state-information (CSI) data demonstrate competitive or superior performance compared with transformer-based learned codecs at more than one order of magnitude smaller model size.