SmartSplat: Feature-Smart Gaussians for Scalable Compression of Ultra-High-Resolution Images
作者: Linfei Li, Lin Zhang, Zhong Wang, Ying Shen
分类: cs.CV, cs.MM
发布日期: 2025-12-23
备注: Accepted by AAAI 2026
🔗 代码/项目: GITHUB
💡 一句话要点
SmartSplat：提出特征感知的GS图像压缩框架，解决超高分辨率图像的高效压缩与高质量重建问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 图像压缩 高斯溅射 超高分辨率 特征感知 变分采样
📋 核心要点
- 现有图像压缩方法在高分辨率场景下难以兼顾压缩率和重建质量，尤其是在计算资源受限的终端设备上。
- SmartSplat利用图像梯度和颜色方差等特征，自适应地调整高斯基元的分布，从而更有效地捕捉图像的关键信息。
- 实验结果表明，SmartSplat在DIV8K和16K数据集上均优于现有方法，实现了更高的压缩率和更好的重建质量。
📝 摘要（中文）
随着生成式AI的快速发展，超高分辨率视觉内容的产生对高效压缩和终端设备上的实时解码提出了巨大挑战。受3D高斯溅射的启发，近期的2D高斯图像模型提高了表征效率，但现有方法难以在超高分辨率场景中平衡压缩率和重建保真度。为了解决这个问题，我们提出了SmartSplat，一个高度自适应且特征感知的基于GS的图像压缩框架，支持任意图像分辨率和压缩率。SmartSplat利用图像感知特征，如梯度和颜色方差，引入了一种梯度-颜色引导的变分采样策略以及一种基于排除的均匀采样方案，以改善像素空间中高斯基元的非重叠覆盖。此外，我们提出了一种尺度自适应的高斯颜色采样方法，以增强跨尺度的颜色初始化。通过空间布局、尺度和颜色初始化的联合优化，SmartSplat使用有限数量的高斯有效地捕获局部结构和全局纹理，在强压缩下实现高重建质量。在DIV8K和一个新构建的16K数据集上的大量实验表明，SmartSplat在相当的压缩率下始终优于最先进的方法，并超过了它们的压缩限制，显示出强大的可扩展性和实际适用性。
🔬 方法详解
问题定义：论文旨在解决超高分辨率图像压缩问题，现有方法在高压缩率下难以保持图像的细节和质量，并且计算复杂度较高，难以在终端设备上实时解码。现有基于高斯模型的图像压缩方法在超高分辨率场景下，难以平衡压缩率和重建保真度。
核心思路：SmartSplat的核心思路是利用图像的特征信息（如梯度和颜色方差）来指导高斯基元的采样和初始化，从而使高斯基元能够更有效地覆盖图像的关键区域，减少冗余信息，提高压缩效率。通过特征引导的采样和尺度自适应的颜色初始化，SmartSplat能够用更少的高斯基元实现更高的重建质量。
技术框架：SmartSplat的整体框架包括以下几个主要阶段：1) 特征提取：提取图像的梯度和颜色方差等特征。2) 高斯采样：采用梯度-颜色引导的变分采样策略和基于排除的均匀采样方案，生成高斯基元的初始位置。3) 颜色初始化：采用尺度自适应的高斯颜色采样方法，初始化高斯基元的颜色。4) 联合优化：联合优化高斯基元的空间布局、尺度和颜色，以最小化重建误差。
关键创新：SmartSplat的关键创新在于：1) 提出了梯度-颜色引导的变分采样策略，使得高斯基元能够更密集地分布在图像的边缘和纹理丰富的区域。2) 提出了基于排除的均匀采样方案，避免高斯基元过度重叠，提高覆盖效率。3) 提出了尺度自适应的高斯颜色采样方法，增强了跨尺度的颜色初始化效果。
关键设计：梯度-颜色引导的变分采样策略使用梯度和颜色方差作为概率分布的权重，引导高斯基元在图像的边缘和纹理丰富的区域进行采样。基于排除的均匀采样方案通过计算高斯基元之间的重叠面积，排除重叠过多的高斯基元，保证覆盖的均匀性。尺度自适应的高斯颜色采样方法根据高斯基元的尺度，自适应地调整颜色采样的范围，提高颜色初始化的准确性。损失函数主要包括重建损失和正则化损失，用于约束高斯基元的分布和形状。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SmartSplat在DIV8K和16K数据集上均优于现有的图像压缩方法。例如，在相同的压缩率下，SmartSplat的PSNR指标比最先进的方法提高了0.5-1dB，并且能够实现更高的压缩率，突破现有方法的压缩极限。代码已开源。
🎯 应用场景
SmartSplat可应用于各种需要高效压缩和高质量重建的超高分辨率图像场景，例如：云游戏、高清视频流媒体、遥感图像分析、医学图像诊断、虚拟现实/增强现实等。该技术能够降低存储和传输成本，提高用户体验，并为相关领域的应用提供更强大的支持。
📄 摘要（原文）
Recent advances in generative AI have accelerated the production of ultra-high-resolution visual content, posing significant challenges for efficient compression and real-time decoding on end-user devices. Inspired by 3D Gaussian Splatting, recent 2D Gaussian image models improve representation efficiency, yet existing methods struggle to balance compression ratio and reconstruction fidelity in ultra-high-resolution scenarios. To address this issue, we propose SmartSplat, a highly adaptive and feature-aware GS-based image compression framework that supports arbitrary image resolutions and compression ratios. SmartSplat leverages image-aware features such as gradients and color variances, introducing a Gradient-Color Guided Variational Sampling strategy together with an Exclusion-based Uniform Sampling scheme to improve the non-overlapping coverage of Gaussian primitives in pixel space. In addition, we propose a Scale-Adaptive Gaussian Color Sampling method to enhance color initialization across scales. Through joint optimization of spatial layout, scale, and color initialization, SmartSplat efficiently captures both local structures and global textures using a limited number of Gaussians, achieving high reconstruction quality under strong compression. Extensive experiments on DIV8K and a newly constructed 16K dataset demonstrate that SmartSplat consistently outperforms state-of-the-art methods at comparable compression ratios and exceeds their compression limits, showing strong scalability and practical applicability. The code is publicly available at https://github.com/lif314/SmartSplat.