TexGS-VolVis: Expressive Scene Editing for Volume Visualization via Textured Gaussian Splatting
作者: Kaiyuan Tang, Kuangshi Ai, Jun Han, Chaoli Wang
分类: cs.GR, cs.CL, cs.CV
发布日期: 2025-07-18
备注: Accepted by IEEE VIS 2025
💡 一句话要点
TexGS-VolVis：基于纹理高斯溅射的体可视化场景编辑
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 体可视化 高斯溅射 风格迁移 场景编辑 非真实感渲染
📋 核心要点
- 现有体可视化方法依赖复杂规则，风格迁移单一，缺乏灵活性，难以满足多样化的表达需求。
- TexGS-VolVis通过纹理高斯溅射，解耦几何与外观，利用2D高斯基元扩展纹理和着色属性，提升风格化质量。
- 该方法支持图像和文本驱动的非真实感场景编辑，以及基于2D-lift-3D分割的局部编辑，增强了控制能力。
📝 摘要（中文）
体可视化(VolVis)旨在通过生成具有视觉吸引力的渲染图来揭示复杂内部结构，从而从3D体数据中提取信息。现有的VolVis方法探索了非真实感渲染技术，以增强视觉传达的清晰度、表现力和信息量。然而，这些方法通常依赖于复杂的预定义规则，并且仅限于传递单一风格，限制了其灵活性。为了克服这些限制，我们提倡使用可微高斯基元结合预训练的大型模型来表示VolVis场景，以实现任意风格迁移和实时渲染。然而，传统3D高斯基元紧密耦合了几何和外观，导致次优的风格化结果。为此，我们引入了TexGS-VolVis，一个用于VolVis的纹理高斯溅射框架。TexGS-VolVis采用2D高斯基元，通过额外的纹理和着色属性来扩展每个高斯基元，从而在推理过程中实现更高质量、几何一致的风格化和增强的光照控制。尽管取得了这些改进，但实现灵活且可控的场景编辑仍然具有挑战性。为了进一步增强风格化，我们开发了针对TexGS-VolVis的图像和文本驱动的非真实感场景编辑，以及2D-lift-3D分割，以实现具有精细控制的部分编辑。我们在各种体渲染场景中对TexGS-VolVis进行了定性和定量评估，证明了其在效率、视觉质量和编辑灵活性方面优于现有方法。
🔬 方法详解
问题定义：现有体可视化方法在风格迁移方面存在局限性，通常依赖于预定义的规则和单一风格，难以实现灵活和可控的场景编辑。此外，传统3D高斯基元紧耦合了几何和外观，导致风格化效果不佳。
核心思路：TexGS-VolVis的核心思路是解耦几何和外观，通过引入纹理高斯溅射，使用2D高斯基元并扩展其纹理和着色属性，从而实现更高质量的风格化和更灵活的场景编辑。这种解耦允许独立控制几何形状和外观风格，从而实现更丰富的视觉效果。
技术框架：TexGS-VolVis框架主要包含以下几个阶段：1) 使用2D高斯基元表示体数据；2) 为每个高斯基元添加纹理和着色属性；3) 利用可微渲染技术进行优化；4) 实现图像和文本驱动的非真实感场景编辑；5) 通过2D-lift-3D分割实现局部编辑。整个框架支持端到端的训练和实时渲染。
关键创新：TexGS-VolVis的关键创新在于纹理高斯溅射，它将传统的3D高斯基元替换为2D高斯基元，并引入了纹理和着色属性。这种解耦的设计使得几何形状和外观风格可以独立控制，从而实现了更高质量的风格化效果。此外，图像和文本驱动的编辑以及2D-lift-3D分割进一步增强了场景编辑的灵活性和控制能力。
关键设计：TexGS-VolVis的关键设计包括：1) 使用2D高斯基元，降低了计算复杂度；2) 引入纹理和着色属性，增强了外观表现力；3) 设计了图像和文本驱动的损失函数，用于指导风格迁移；4) 采用了2D-lift-3D分割技术，实现了精细的局部编辑。
🖼️ 关键图片
📊 实验亮点
TexGS-VolVis在多个体渲染场景中进行了评估，结果表明其在视觉质量、编辑灵活性和渲染效率方面均优于现有方法。通过定性和定量分析，证明了TexGS-VolVis能够生成更高质量的风格化渲染图，并支持灵活的场景编辑，例如图像和文本驱动的风格迁移以及局部编辑。
🎯 应用场景
TexGS-VolVis可应用于医学影像可视化、科学数据可视化、工业设计等领域。通过灵活的风格迁移和场景编辑，可以更清晰地呈现复杂的三维结构，帮助用户更好地理解和分析数据。该技术还有潜力应用于虚拟现实和增强现实等领域，提供更具表现力和交互性的可视化体验。
📄 摘要（原文）
Advancements in volume visualization (VolVis) focus on extracting insights from 3D volumetric data by generating visually compelling renderings that reveal complex internal structures. Existing VolVis approaches have explored non-photorealistic rendering techniques to enhance the clarity, expressiveness, and informativeness of visual communication. While effective, these methods often rely on complex predefined rules and are limited to transferring a single style, restricting their flexibility. To overcome these limitations, we advocate the representation of VolVis scenes using differentiable Gaussian primitives combined with pretrained large models to enable arbitrary style transfer and real-time rendering. However, conventional 3D Gaussian primitives tightly couple geometry and appearance, leading to suboptimal stylization results. To address this, we introduce TexGS-VolVis, a textured Gaussian splatting framework for VolVis. TexGS-VolVis employs 2D Gaussian primitives, extending each Gaussian with additional texture and shading attributes, resulting in higher-quality, geometry-consistent stylization and enhanced lighting control during inference. Despite these improvements, achieving flexible and controllable scene editing remains challenging. To further enhance stylization, we develop image- and text-driven non-photorealistic scene editing tailored for TexGS-VolVis and 2D-lift-3D segmentation to enable partial editing with fine-grained control. We evaluate TexGS-VolVis both qualitatively and quantitatively across various volume rendering scenes, demonstrating its superiority over existing methods in terms of efficiency, visual quality, and editing flexibility.