Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

📄 arXiv: 2603.11531v1 📥 PDF

作者: Xiaobiao Du, Yida Wang, Kun Zhan, Xin Yu

分类: cs.CV

发布日期: 2026-03-12

备注: Project Page: https://xiaobiaodu.github.io/mobile-gs-project/

💡 一句话要点

Mobile-GS：面向移动设备的高质量实时高斯溅射渲染

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 移动渲染 实时渲染 神经渲染 模型压缩

📋 核心要点

  1. 3D高斯溅射渲染质量高，但计算量大，难以在移动设备上部署。
  2. Mobile-GS通过深度感知的无序渲染加速渲染，并使用神经视角增强来减少伪影。
  3. Mobile-GS还采用蒸馏、量化和剪枝等技术压缩模型，实现移动端实时高质量渲染。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为一种强大的表示方法，可在广泛的应用中实现高质量渲染。然而，其高计算需求和庞大的存储成本给在移动设备上的部署带来了重大挑战。本文提出了一种为移动设备量身定制的实时高斯溅射方法，称为Mobile-GS，能够在边缘设备上高效地进行高斯溅射推理。具体而言，我们首先将alpha混合确定为主要的计算瓶颈，因为它依赖于耗时的高斯深度排序过程。为了解决这个问题，我们提出了一种深度感知的与顺序无关的渲染方案，该方案消除了排序的需要，从而大大加快了渲染速度。虽然这种与顺序无关的渲染提高了渲染速度，但由于渲染顺序的稀缺性，它可能会在具有重叠几何体的区域中引入透明伪影。为了解决这个问题，我们提出了一种神经视角相关的增强策略，能够更准确地建模依赖于视角方向、3D高斯几何体和外观属性的视角相关效果。通过这种方式，Mobile-GS可以实现高质量和实时的渲染。此外，为了方便在内存受限的移动平台上部署，我们还引入了一阶球谐函数蒸馏、一种神经向量量化技术和一种基于贡献的剪枝策略，以减少高斯基元的数量，并在神经网络的帮助下压缩3D高斯表示。大量的实验表明，我们提出的Mobile-GS实现了实时渲染和紧凑的模型尺寸，同时保持了高质量的视觉效果，使其非常适合移动应用。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射（3DGS）在移动设备上部署的难题。现有3DGS方法计算量大，存储成本高，难以在资源受限的移动平台上实现实时渲染。特别是alpha混合过程中的高斯深度排序是主要的性能瓶颈。

核心思路：论文的核心思路是通过优化渲染流程和压缩模型大小，使得3DGS能够在移动设备上实时运行。具体来说，首先采用深度感知的无序渲染来避免耗时的深度排序，然后使用神经视角相关增强来补偿无序渲染可能引入的伪影。此外，还通过蒸馏、量化和剪枝等技术来压缩模型，降低存储需求。

技术框架：Mobile-GS包含以下几个主要模块：1) 深度感知的无序渲染：消除深度排序，加速渲染。2) 神经视角相关增强：利用神经网络建模视角相关效果，减少伪影。3) 模型压缩：包括一阶球谐函数蒸馏、神经向量量化和基于贡献的剪枝。整体流程是先进行无序渲染，然后通过神经网络进行增强，最后对模型进行压缩。

关键创新：论文的关键创新在于将深度感知的无序渲染与神经视角相关增强相结合，实现了在移动设备上的实时高质量3DGS渲染。与传统的基于排序的渲染方法相比，无序渲染大大提高了渲染速度，而神经视角相关增强则有效地解决了无序渲染可能引入的伪影问题。同时，结合多种模型压缩技术，进一步降低了模型的存储需求。

关键设计：深度感知的无序渲染通过预先计算每个像素的深度范围，避免了像素间的排序。神经视角相关增强网络以视角方向、3D高斯几何体和外观属性作为输入，预测每个像素的颜色偏移量。一阶球谐函数蒸馏使用神经网络将高阶球谐函数的信息压缩到低阶球谐函数中。神经向量量化使用码本对高斯参数进行量化。基于贡献的剪枝根据高斯对最终渲染结果的贡献程度进行剪枝。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mobile-GS在移动设备上实现了实时渲染，并在保持高质量视觉效果的同时，显著降低了模型大小。实验结果表明，该方法能够在移动设备上以超过30帧/秒的速度渲染复杂的3D场景，同时模型大小也得到了有效压缩，使其能够轻松部署在内存受限的移动平台上。

🎯 应用场景

Mobile-GS技术可广泛应用于移动AR/VR、移动游戏、三维重建、虚拟试穿等领域。它使得用户可以在移动设备上体验到高质量的3D内容，而无需依赖高性能的服务器或云端渲染。该技术有望推动移动端3D应用的发展，并为用户带来更丰富的交互体验。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a powerful representation for high-quality rendering across a wide range of applications.However, its high computational demands and large storage costs pose significant challenges for deployment on mobile devices. In this work, we propose a mobile-tailored real-time Gaussian Splatting method, dubbed Mobile-GS, enabling efficient inference of Gaussian Splatting on edge devices. Specifically, we first identify alpha blending as the primary computational bottleneck, since it relies on the time-consuming Gaussian depth sorting process. To solve this issue, we propose a depth-aware order-independent rendering scheme that eliminates the need for sorting, thereby substantially accelerating rendering. Although this order-independent rendering improves rendering speed, it may introduce transparency artifacts in regions with overlapping geometry due to the scarcity of rendering order. To address this problem, we propose a neural view-dependent enhancement strategy, enabling more accurate modeling of view-dependent effects conditioned on viewing direction, 3D Gaussian geometry, and appearance attributes. In this way, Mobile-GS can achieve both high-quality and real-time rendering. Furthermore, to facilitate deployment on memory-constrained mobile platforms, we also introduce first-order spherical harmonics distillation, a neural vector quantization technique, and a contribution-based pruning strategy to reduce the number of Gaussian primitives and compress the 3D Gaussian representation with the assistance of neural networks. Extensive experiments demonstrate that our proposed Mobile-GS achieves real-time rendering and compact model size while preserving high visual quality, making it well-suited for mobile applications.