VkSplat: High-Performance 3DGS Training in Vulkan Compute

📄 arXiv: 2605.00219v1 📥 PDF

作者: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

分类: cs.CV

发布日期: 2026-04-30

备注: Submitted to Eurographics 2026 - Short Papers

DOI: 10.2312/egs.20261024

🔗 代码/项目: GITHUB

💡 一句话要点

VkSplat：基于Vulkan Compute的高性能3DGS训练框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 Vulkan Compute 高性能计算 三维重建 跨平台 实时渲染

📋 核心要点

  1. 现有3DGS训练流程在性能和跨平台兼容性方面存在局限，阻碍了其广泛应用。
  2. VkSplat采用完全基于Vulkan compute的实现，优化了数据处理和渲染流程，提升了效率。
  3. 实验表明，VkSplat在速度和显存占用方面均优于CUDA+PyTorch基线，且具有跨GPU厂商的兼容性。

📝 摘要（中文）

本文提出了VkSplat，一个完全基于Vulkan compute的高性能3D高斯溅射（3DGS）训练流程，旨在解决现有训练流程的性能和兼容性限制。通过多种优化，在保持质量的同时，实现了比CUDA+PyTorch基线快3.3倍的速度，并减少了33%的VRAM使用。据我们所知，这是第一个完全基于Vulkan的3DGS训练流程，并达到了最先进的性能。代码已开源。

🔬 方法详解

问题定义：现有3D高斯溅射（3DGS）训练流程通常依赖CUDA和特定的深度学习框架（如PyTorch），这限制了其在不同硬件平台上的兼容性，并且可能存在性能瓶颈，尤其是在大规模场景下。现有方法的痛点在于跨平台能力弱，以及训练效率有待提升。

核心思路：VkSplat的核心思路是利用Vulkan compute API，实现一个完全独立于特定深度学习框架的3DGS训练流程。Vulkan具有更好的底层控制能力和跨平台特性，能够更有效地利用GPU资源，从而提升训练速度和降低显存占用。

技术框架：VkSplat的整体框架包括数据预处理、高斯参数更新、渲染和损失计算等主要模块。数据预处理阶段负责将输入数据转换为Vulkan可以高效处理的格式。高斯参数更新阶段利用Vulkan compute shader并行更新每个高斯球的参数。渲染阶段使用Vulkan API将高斯球渲染到图像上。损失计算阶段计算渲染图像与目标图像之间的差异，用于指导高斯参数的更新。

关键创新：VkSplat最重要的技术创新点在于完全基于Vulkan compute实现3DGS训练流程，摆脱了对CUDA和特定深度学习框架的依赖。这种方法能够更好地利用GPU的并行计算能力，并具有更好的跨平台兼容性。

关键设计：VkSplat的关键设计包括：1) 使用Vulkan的compute shader进行并行高斯参数更新；2) 优化数据布局，减少数据传输开销；3) 采用高效的渲染算法，加速图像生成；4) 精心设计的损失函数，保证训练质量。具体的参数设置和损失函数选择可能需要根据具体应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

VkSplat在实验中表现出色，相较于CUDA+PyTorch基线，实现了3.3倍的速度提升和33%的VRAM减少。这些结果表明，VkSplat在性能和资源利用率方面具有显著优势。此外，VkSplat还展示了良好的跨GPU厂商兼容性，可以在不同品牌的GPU上稳定运行。

🎯 应用场景

VkSplat具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、三维重建等领域。其高性能和跨平台特性使其能够应用于各种设备和平台，为用户提供更流畅、更逼真的三维体验。未来，VkSplat有望成为三维内容生成和渲染的重要工具。

📄 摘要（原文）

We present VkSplat, a high-performance, cross-vendor 3D Gaussian Splatting (3DGS) training pipeline implemented fully in Vulkan compute, addressing performance and compatibility limitation of existing training pipelines. With various optimizations, we achieve $3.3\times$ speed and $33\%$ VRAM reduction over CUDA+PyTorch baseline, maintaining quality, and demonstrating compatibility across GPU vendors. To the best of our knowledge, this is the first fully-Vulkan-based 3DGS training pipeline that achieves state-of-the-art performance. Code: \href{https://github.com/harry7557558/vksplat}{https://github.com/harry7557558/vksplat}