VVGT: Visual Volume-Grounded Transformer

📄 arXiv: 2604.12217v1 📥 PDF

作者: Yuxuan Wang, Qibiao Li, Youcheng Cai

分类: cs.GR

发布日期: 2026-04-14

💡 一句话要点

提出VVGT，一种直接将体数据映射到3D高斯溅射的Transformer框架，实现交互式体可视化。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 体可视化 3D高斯溅射 Transformer网络 体积渲染 几何一致性

📋 核心要点

  1. 传统DVR方法在处理高分辨率体数据时面临可扩展性瓶颈，且交互性受限。
  2. VVGT通过前馈Transformer直接将体数据转换为3D高斯溅射表示，无需耗时的逐场景优化。
  3. 实验表明，VVGT在转换速度、几何一致性和零样本泛化能力方面均优于现有方法，实现了交互式体可视化。

📝 摘要（中文）

长期以来，体绘制主要由直接体绘制（DVR）主导，它在密集体素网格上运行，并且随着分辨率和交互性需求的增加，其可扩展性受到限制。最近3D高斯溅射（3DGS）的进展提供了一种以表示为中心的替代方案；然而，现有的体积扩展仍然依赖于昂贵的场景优化，限制了可扩展性和交互性。我们提出了VVGT（Visual Volume-Grounded Transformer），这是一个前馈、表示优先的框架，它直接将体积数据映射到3D高斯溅射表示，从而推进了超越DVR的体可视化的新范例。与先前为以表面为中心的重建而设计的前馈3DGS方法不同，VVGT显式地考虑了体积渲染，其中每个像素聚合沿射线的贡献。VVGT采用双Transformer网络，并引入了体积几何强制，这是一种极线交叉注意力机制，可将多视图观察结果集成到分布式3D高斯基元中，而无需表面假设。这种设计消除了每个场景的优化，同时实现了准确的体积表示。大量的实验表明，VVGT实现了高质量的可视化，转换速度提高了几个数量级，几何一致性得到了改善，并且在各种数据集上具有强大的零样本泛化能力，从而实现了真正的交互式和可扩展的体积可视化。代码将在接受后公开发布。

🔬 方法详解

问题定义：现有的体可视化方法，特别是直接体绘制（DVR），在高分辨率和交互性要求下，面临着计算复杂度高、可扩展性差的问题。虽然3D高斯溅射（3DGS）提供了一种新的表示方法，但现有的体积扩展仍然需要昂贵的逐场景优化，限制了其应用范围。因此，如何高效且准确地将体数据转换为可交互的3D表示是一个关键问题。

核心思路：VVGT的核心思路是利用Transformer网络学习一个直接的映射关系，将体数据一次性地转换为3D高斯溅射表示，从而避免了耗时的逐场景优化。通过显式地考虑体积渲染过程中的射线积分，并引入体积几何强制，VVGT能够生成更准确、几何一致性更高的体可视化结果。

技术框架：VVGT采用一个双Transformer网络架构。第一个Transformer负责处理输入的体数据，提取特征并初始化3D高斯基元。第二个Transformer则利用多视图信息，通过极线交叉注意力机制（Volume Geometry Forcing）对3D高斯基元进行优化，使其更好地符合体积几何结构。整个框架是一个前馈网络，无需迭代优化。

关键创新：VVGT最重要的创新在于其前馈的、表示优先的设计，以及体积几何强制机制。与以往依赖逐场景优化的方法不同，VVGT通过学习一个通用的映射关系，实现了高效的体数据转换。体积几何强制机制则通过显式地考虑体积渲染过程，并利用多视图信息，提高了3D高斯表示的准确性和几何一致性。

关键设计：VVGT的关键设计包括：1) 双Transformer网络结构，分别负责特征提取和几何优化；2) 体积几何强制机制，通过极线交叉注意力将多视图信息融入3D高斯基元；3) 损失函数的设计，包括渲染损失、几何损失等，用于指导网络的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VVGT在体数据转换速度上比现有方法快几个数量级，同时在几何一致性和零样本泛化能力方面也取得了显著提升。具体来说，VVGT在多个公开数据集上实现了高质量的可视化效果，并且无需针对每个数据集进行单独的优化。这表明VVGT具有很强的通用性和实用性。

🎯 应用场景

VVGT在医学影像分析、科学可视化、工业设计等领域具有广泛的应用前景。例如，医生可以利用VVGT快速地将CT或MRI扫描数据转换为可交互的3D模型，从而更直观地观察病灶。科学家可以利用VVGT可视化复杂的流体动力学模拟结果。工程师可以利用VVGT进行产品设计和虚拟样机展示。该研究有望推动体可视化技术在各个领域的应用。

📄 摘要（原文）

Volumetric visualization has long been dominated by Direct Volume Rendering (DVR), which operates on dense voxel grids and suffers from limited scalability as resolution and interactivity demands increase. Recent advances in 3D Gaussian Splatting (3DGS) offer a representation-centric alternative; however, existing volumetric extensions still depend on costly per-scene optimization, limiting scalability and interactivity. We present VVGT (Visual Volume-Grounded Transformer), a feed-forward, representation-first framework that directly maps volumetric data to a 3D Gaussian Splatting representation, advancing a new paradigm for volumetric visualization beyond DVR. Unlike prior feed-forward 3DGS methods designed for surface-centric reconstruction, VVGT explicitly accounts for volumetric rendering, where each pixel aggregates contributions along a ray. VVGT employs a dual-transformer network and introduces Volume Geometry Forcing, an epipolar cross-attention mechanism that integrates multi-view observations into distributed 3D Gaussian primitives without surface assumptions. This design eliminates per-scene optimization while enabling accurate volumetric representations. Extensive experiments show that VVGT achieves high-quality visualization with orders-of-magnitude faster conversion, improved geometric consistency, and strong zero-shot generalization across diverse datasets, enabling truly interactive and scalable volumetric visualization. The code will be publicly released upon acceptance.