iVR-GS: Inverse Volume Rendering for Explorable Visualization via Editable 3D Gaussian Splatting

📄 arXiv: 2504.17954v1 📥 PDF

作者: Kaiyuan Tang, Siyuan Yao, Chaoli Wang

分类: cs.GR, cs.CV, cs.LG

发布日期: 2025-04-24

备注: Accepted by IEEE Transactions on Visualization and Computer Graphics (TVCG)

🔗 代码/项目: GITHUB

💡 一句话要点

提出iVR-GS，通过可编辑3D高斯溅射实现交互式体绘制可视化

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 逆体渲染 3D高斯溅射 体可视化 新视角合成 交互式探索

📋 核心要点

  1. 现有体绘制方法依赖高性能GPU和高速内存，难以实时渲染大规模数据，限制了交互式探索。
  2. iVR-GS通过可编辑的3D高斯溅射实现逆体渲染，降低渲染成本，并支持场景编辑以进行交互式探索。
  3. 实验表明，iVR-GS在重建质量和可组合性方面优于Plenoxels、CCNeRF和base 3DGS等NVS方法。

📝 摘要（中文）

在体可视化中，用户可以通过指定传递函数（TF）中的颜色和不透明度映射或调整光照参数来交互式地探索三维数据，从而促进对底层结构的理解。然而，渲染大规模体数据需要强大的GPU和高速内存访问才能实现实时性能。虽然现有的新视角合成（NVS）方法以较低的硬件要求提供了更快的渲染速度，但重建场景的可见部分是固定的，并受到预设TF设置的限制，这大大限制了用户的探索。本文介绍了一种基于高斯溅射的逆体渲染（iVR-GS），这是一种创新的NVS方法，它降低了渲染成本，同时实现了场景编辑，从而实现交互式体探索。具体来说，我们组合了多个与覆盖不相交可见部分的基本TF相关的iVR-GS模型，以使整个体积场景可见。每个基本模型都包含一组3D可编辑高斯函数，其中每个高斯函数都是一个3D空间点，支持实时场景渲染和编辑。我们在各种体积数据集上展示了iVR-GS相对于其他NVS解决方案（Plenoxels、CCNeRF和base 3DGS）的卓越重建质量和可组合性。

🔬 方法详解

问题定义：现有体绘制方法在渲染大规模体积数据时，需要高性能的GPU和高速内存访问，这限制了实时交互式探索。此外，基于新视角合成(NVS)的方法虽然渲染速度快，但重建场景的可见部分受限于预设的传递函数(TF)，无法灵活调整，限制了用户对数据的探索。

核心思路：iVR-GS的核心思路是利用3D高斯溅射(3DGS)作为基础表示，通过逆体渲染的方式，将体积数据转换为一组可编辑的3D高斯函数。每个高斯函数代表空间中的一个点，并包含颜色、不透明度等属性。通过编辑这些高斯函数的属性，可以实现对体积数据的交互式探索和可视化。将整个体积场景分解为多个子场景，每个子场景对应一个基本的传递函数，然后使用多个iVR-GS模型分别表示这些子场景，最后将这些模型组合起来，从而实现对整个体积数据的可视化。

技术框架：iVR-GS的整体框架包括以下几个主要步骤：1) 数据预处理：将原始体积数据转换为适合iVR-GS处理的格式。2) 初始化：使用一组3D高斯函数初始化场景。3) 逆体渲染：通过逆体渲染的方式，将体积数据投影到3D高斯函数上，并优化高斯函数的属性，使其能够准确地表示体积数据。4) 场景编辑：用户可以交互式地编辑3D高斯函数的属性，例如颜色、不透明度等，从而实现对体积数据的可视化和探索。5) 渲染：使用3D高斯溅射技术，将3D高斯函数渲染成图像。

关键创新：iVR-GS的关键创新在于：1) 将3D高斯溅射技术应用于逆体渲染，实现了对体积数据的快速渲染和编辑。2) 提出了将体积场景分解为多个子场景，并使用多个iVR-GS模型分别表示这些子场景的方法，从而实现了对大规模体积数据的可视化。3) 通过可编辑的3D高斯函数，实现了对体积数据的交互式探索和可视化。与现有方法相比，iVR-GS能够以更低的硬件要求实现更快的渲染速度，并支持更灵活的场景编辑。

关键设计：iVR-GS的关键设计包括：1) 使用3D高斯函数作为基础表示，每个高斯函数包含位置、缩放、旋转、颜色和不透明度等属性。2) 使用基于梯度的优化算法，优化高斯函数的属性，使其能够准确地表示体积数据。3) 使用可微分的渲染器，实现对高斯函数的快速渲染。4) 设计了用户友好的交互界面，方便用户编辑高斯函数的属性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，iVR-GS在重建质量和可组合性方面优于Plenoxels、CCNeRF和base 3DGS等NVS方法。在多个公开的体积数据集上，iVR-GS能够以更低的渲染成本实现更高的重建质量。此外，iVR-GS还支持交互式的场景编辑，用户可以实时调整传递函数和光照参数，从而更好地探索体积数据。

🎯 应用场景

iVR-GS可应用于医学影像可视化、科学数据可视化、工业设计等领域。医生可以使用iVR-GS交互式地探索CT、MRI等医学影像，从而更好地诊断疾病。科学家可以使用iVR-GS可视化复杂的数据集，从而更好地理解数据背后的规律。工程师可以使用iVR-GS设计和优化产品，从而提高产品的性能和可靠性。该研究有望推动体绘制技术在各个领域的应用。

📄 摘要（原文）

In volume visualization, users can interactively explore the three-dimensional data by specifying color and opacity mappings in the transfer function (TF) or adjusting lighting parameters, facilitating meaningful interpretation of the underlying structure. However, rendering large-scale volumes demands powerful GPUs and high-speed memory access for real-time performance. While existing novel view synthesis (NVS) methods offer faster rendering speeds with lower hardware requirements, the visible parts of a reconstructed scene are fixed and constrained by preset TF settings, significantly limiting user exploration. This paper introduces inverse volume rendering via Gaussian splatting (iVR-GS), an innovative NVS method that reduces the rendering cost while enabling scene editing for interactive volume exploration. Specifically, we compose multiple iVR-GS models associated with basic TFs covering disjoint visible parts to make the entire volumetric scene visible. Each basic model contains a collection of 3D editable Gaussians, where each Gaussian is a 3D spatial point that supports real-time scene rendering and editing. We demonstrate the superior reconstruction quality and composability of iVR-GS against other NVS solutions (Plenoxels, CCNeRF, and base 3DGS) on various volume datasets. The code is available at https://github.com/TouKaienn/iVR-GS.