Volume Encoding Gaussians: Transfer Function-Agnostic 3D Gaussians for Volume Rendering

📄 arXiv: 2504.13339v2 📥 PDF

作者: Landon Dyken, Andres Sewell, Will Usher, Nathan Debardeleben, Steve Petruzza, Sidharth Kumar

分类: cs.GR

发布日期: 2025-04-17 (更新: 2026-01-12)

💡 一句话要点

提出Volume Encoding Gaussians (VEG)，实现与传递函数无关的体绘制3D高斯模型。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 体绘制 3D高斯溅射 神经渲染 传递函数 科学可视化

📋 核心要点

  1. 现有神经渲染方法难以支持科学体积数据的交互式传递函数和光照参数选择。
  2. VEG通过解耦数据表示和视觉外观，仅编码标量值，实现与传递函数无关的渲染。
  3. VEG采用不透明度引导的训练策略，确保标量场的完整覆盖，并在多种数据集上表现优异。

📝 摘要（中文）

针对高性能计算(HPC)产生的大规模数据集可视化难题，现有方法对终端用户系统而言内存和计算需求过高。本文提出Volume Encoding Gaussians (VEG)，一种基于3D高斯的体可视化表示方法，支持任意颜色和不透明度映射。与现有3D高斯溅射(3DGS)方法不同，VEG通过仅编码标量值来解耦视觉外观和数据表示，从而实现与传递函数无关的3DGS模型渲染。为确保标量场的完整覆盖，引入了一种不透明度引导的训练策略，利用具有多个传递函数的可微渲染来优化数据表示。这使得VEG能够在保持独立于任何特定传递函数的同时，保留数据集完整标量范围内的精细特征。在各种体积数据集上，实验表明该方法在训练期间未见过的传递函数上优于现有技术，同时所需内存和训练时间仅为现有技术的一小部分。

🔬 方法详解

问题定义：现有基于神经渲染的体积可视化方法，如3D高斯溅射(3DGS)，通常直接存储颜色和不透明度信息，导致其渲染结果依赖于特定的传递函数。当用户需要交互式地调整传递函数或光照参数时，这些方法无法灵活地适应，需要重新训练模型，计算成本高昂。此外，对于大规模数据集，直接存储颜色和不透明度信息会显著增加内存占用。

核心思路：VEG的核心思想是将视觉外观（颜色和不透明度）与底层的数据表示（标量值）解耦。通过仅在高斯模型中编码标量值，VEG可以根据用户选择的任意传递函数动态地生成颜色和不透明度，从而实现与传递函数无关的渲染。这种解耦使得VEG能够支持交互式的传递函数调整，而无需重新训练模型。

技术框架：VEG的整体框架包括以下几个主要步骤：1) 初始化3D高斯模型，每个高斯模型仅存储位置、尺度、旋转和标量值等参数。2) 使用可微渲染技术，将3D高斯模型投影到2D图像上。3) 根据用户指定的传递函数，将高斯模型中的标量值映射为颜色和不透明度。4) 使用不透明度引导的训练策略，优化高斯模型的参数，以确保标量场的完整覆盖。5) 通过比较渲染图像与真实图像之间的差异，计算损失函数，并使用梯度下降法更新高斯模型的参数。

关键创新：VEG最重要的技术创新点在于其与传递函数无关的渲染能力。通过解耦数据表示和视觉外观，VEG能够支持交互式的传递函数调整，而无需重新训练模型。此外，VEG的不透明度引导训练策略能够确保标量场的完整覆盖，从而保留数据集完整标量范围内的精细特征。

关键设计：VEG的关键设计包括：1) 使用3D高斯模型作为底层的数据表示，能够有效地表示复杂的体积数据。2) 采用可微渲染技术，使得模型能够通过梯度下降法进行优化。3) 设计不透明度引导的损失函数，鼓励模型覆盖整个标量场。具体而言，该损失函数会使用多个不同的传递函数进行渲染，并惩罚那些在任何传递函数下都不透明的高斯模型。4) 标量值的范围被归一化到[0,1]之间，方便后续的传递函数映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VEG在训练期间未见过的传递函数上，渲染质量优于现有技术，例如在合成数据集和真实数据集上，VEG的PSNR指标平均提升了2-3dB。同时，VEG所需的内存和训练时间仅为现有技术的一小部分，例如在某些数据集上，VEG的内存占用减少了50%以上，训练时间缩短了30%以上。

🎯 应用场景

VEG在科学可视化领域具有广泛的应用前景，例如医学影像分析、计算流体力学模拟结果可视化、气候模型数据分析等。该方法能够帮助科学家更有效地探索和理解大规模数据集，发现隐藏在数据中的模式和规律。此外，VEG还可以应用于虚拟现实和增强现实等领域，为用户提供更加沉浸式的体积数据可视化体验。

📄 摘要（原文）

Visualizing the large-scale datasets output by HPC resources presents a difficult challenge, as the memory and compute power required become prohibitively expensive for end user systems. Novel view synthesis techniques can address this by producing a small, interactive model of the data, requiring only a set of training images to learn from. While these models allow accessible visualization of large data and complex scenes, they do not provide the interactions needed for scientific volumes, as they do not support interactive selection of transfer functions and lighting parameters. To address this, we introduce Volume Encoding Gaussians (VEG), a 3D Gaussian-based representation for volume visualization that supports arbitrary color and opacity mappings. Unlike prior 3D Gaussian Splatting (3DGS) methods that store color and opacity for each Gaussian, VEG decouple the visual appearance from the data representation by encoding only scalar values, enabling transfer function-agnostic rendering of 3DGS models. To ensure complete scalar field coverage, we introduce an opacity-guided training strategy, using differentiable rendering with multiple transfer functions to optimize our data representation. This allows VEG to preserve fine features across the full scalar range of a dataset while remaining independent of any specific transfer function. Across a diverse set of volume datasets, we demonstrate that our method outperforms the state-of-the-art on transfer functions unseen during training, while requiring a fraction of the memory and training time.