Where Should the Gaussians Go? Reusable Label-Aware Allocation for Budget-Constrained Gaussian Splatting of Cinematic CT

📄 arXiv: 2610.20397v1 📥 PDF

作者: Bowen Xiang, Dingjie Su, Jon S. Heiselman, Michael I. Miga

分类: cs.CV

发布日期: 2026-10-14

💡 一句话要点

提出可重用的标签感知分配方法以优化预算约束下的高斯点云

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯点云 CT渲染 标签感知 医学影像 实时显示 神经网络 可见性感知

📋 核心要点

  1. 现有的高斯点云渲染方法需要针对每位患者进行优化，导致计算效率低下和实时显示受限。
  2. 本文提出了一种可重用的标签感知分配方法，通过学习患者的CT和标签信息，优化高斯点的分布。
  3. 实验结果显示，该方法在血管掩蔽的PSNR上比均匀分配提高了4.5-7.1dB，且在不同患者间具有良好的适应性。

📝 摘要（中文）

解剖标签有助于在CT的电影渲染中保留血管，但现有方法仍需针对每位患者进行优化，导致高斯点的分布受限。本文提出了一种可重用的标签感知分配前端，将患者的CT、标签和传递函数映射到2mm单元的密度上，并在不进行每位患者优化的情况下精确绘制B个位置。该前端通过从每位患者优化场景中学习而得，作为一种群体训练的神经先验和可解释的七参数可见性感知闭合形式（VACF）实现。实验结果表明，使用该方法在20个持出患者上，血管掩蔽的PSNR比均匀分配提高了4.5-7.1dB，VACF在优化后表现优于每位患者的密集化。

🔬 方法详解

问题定义：本文旨在解决在预算约束下，如何有效分配固定数量的高斯点以优化CT渲染中的血管保留问题。现有方法需要针对每位患者进行优化，导致计算复杂度高且实时性差。

核心思路：提出了一种可重用的标签感知分配前端，通过将患者的CT、标签和传递函数映射到密度上，直接生成高斯点的位置，避免了逐患者优化的过程。

技术框架：整体架构包括两个主要模块：首先是通过学习得到的神经先验，其次是可解释的七参数可见性感知闭合形式（VACF）。这两个模块共同作用于高斯点的分配和属性拟合。

关键创新：最重要的创新在于提出了可重用的标签感知分配方法，能够在不进行每位患者优化的情况下，精确绘制高斯点的位置，与现有方法相比，显著提高了渲染效果和效率。

关键设计：在设计中，VACF使用了七个参数来控制可见性，确保在不同的渲染预设下能够有效转移，同时神经先验在不同患者间保持一致性，确保了高斯点的分配效果。实验中还对比了不同预算下的分配效果，验证了方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用本文提出的方法在20个持出患者上，血管掩蔽的PSNR比均匀分配提高了4.5-7.1dB，VACF在优化后表现优于每位患者的密集化，且在不同患者间具有良好的适应性，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括医学影像处理、虚拟现实和增强现实等场景，能够提升CT图像的渲染质量和实时性，具有重要的临床价值和实际应用前景。未来，该方法还可以扩展到其他类型的医学成像技术中，进一步提高图像处理效率和质量。

📄 摘要（原文）

Anatomical labels help 3D Gaussian splatting preserve vessels in cinematic renderings of CT, but the representation is still found by optimising each patient's scene, where densification decides where Gaussians go, while real-time displays cap their number. We address one part of this process: deciding where a fixed budget of B Gaussians should be placed. We propose a reusable, labelaware allocation front end that maps a patient's CT, labels and transfer function to a density over 2mm cells and draws exactly B positions from it without per-patient optimisation; the other Gaussian attributes are still fitted per patient. The front end is learned once from per-patient optimised scenes and implemented as a population-trained neural prior and an interpretable seven-parameter visibility-aware closed form (VACF). With identical attribute fitting on 20 held-out patients at 10K-100K Gaussians, both raise vessel-masked PSNR over uniform allocation by 4.5-7.1dB and over pruning a dense voxel-aligned model by 1.6-3.3dB. The neural prior does not differ significantly from per-patient optimised allocation at any budget, and VACF is within 0.6dB of it on vessels; on 19 external patients the neural prior again matches it on vessels and VACF is within 0.7dB. As an initialisation for position optimisation, VACF allocation beats per-patient densification on vessels at 10K Gaussians and, at 25K, reaches a higher vessel PSNR after 118s of optimisation than densification after 248s. Under altered rendering presets, VACF transfers to new colours and lighting but not to a label-free transfer function, whereas the neural prior shows the opposite pattern.