Hybrid Foveated Path Tracing with Peripheral Gaussians for Immersive Anatomy
作者: Constantin Kleinbeck, Luisa Theelke, Hannah Schieber, Ulrich Eck, Rüdiger von Eisenhart-Rothe, Daniel Roth
分类: cs.GR, cs.CV
发布日期: 2026-01-29
备注: Scheduled for publication in the Proceedings of IEEE VR 2026
💡 一句话要点
提出混合注视点路径追踪与外围高斯模型方法，用于沉浸式解剖可视化
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 医学影像可视化 路径追踪 高斯溅射 混合渲染 VR 交互式渲染 注视点渲染
📋 核心要点
- 传统医学影像三维重建方法计算成本高或需预处理，限制了交互式使用，难以满足沉浸式解剖可视化的需求。
- 该论文提出一种混合渲染方法，结合注视点路径追踪和外围高斯溅射，优化外围模型生成，实现高质量交互。
- 实验结果表明，该方法在保持视觉质量的同时，能快速重新生成外围模型，无需大量预处理，提升交互性。
📝 摘要（中文）
体医疗影像在理解复杂病理方面具有巨大潜力。然而，传统的2D切片在解释空间关系方面支持不足，迫使用户在脑海中将解剖结构重建为三维。直接体路径追踪和VR渲染可以改善感知，但计算成本高昂，而预计算表示（如高斯溅射）需要提前规划。这两种方法都限制了交互式使用。我们提出了一种混合渲染方法，用于高质量、交互式和沉浸式解剖可视化。我们的方法结合了流式注视点路径追踪和外围高斯溅射近似。外围模型生成通过体数据进行优化，并使用注视点渲染持续细化，从而实现交互式更新。深度引导的重投影进一步提高了对延迟的鲁棒性，并允许用户平衡保真度与刷新率。我们将我们的方法与直接路径追踪和高斯溅射进行了比较。结果表明，它们的结合可以在保持视觉质量优势的同时，在一秒内重新生成外围模型，从而消除了大量的预处理和近似，为交互式医学可视化开辟了新的选择。
🔬 方法详解
问题定义：医学影像的三维可视化对于理解复杂解剖结构至关重要。然而，直接体绘制的路径追踪方法计算量大，难以实现交互式渲染。而预计算的高斯溅射方法虽然渲染速度快，但需要大量的预处理，且难以适应动态变化。因此，如何在保证渲染质量的前提下，实现医学影像的实时交互式三维可视化是一个关键问题。
核心思路：该论文的核心思路是结合路径追踪和高斯溅射的优点，利用人眼的注视点特性，对注视区域采用高质量的路径追踪渲染，而对周围区域采用轻量级的高斯溅射渲染。通过这种混合渲染的方式，可以在保证关键区域视觉质量的同时，显著降低整体的计算量，从而实现交互式的渲染速度。
技术框架：该方法主要包含以下几个阶段：1) 注视点路径追踪：对用户注视的区域进行高质量的路径追踪渲染，生成高精度的图像。2) 外围高斯模型生成：利用体数据和注视点渲染结果，生成外围区域的高斯溅射模型。该模型会根据注视点渲染的结果进行持续优化。3) 混合渲染：将注视点路径追踪的结果和外围高斯溅射模型进行融合，生成最终的渲染图像。4) 深度引导重投影：利用深度信息对渲染结果进行重投影，以提高对延迟的鲁棒性。
关键创新：该方法最重要的创新点在于混合渲染的策略，即根据人眼的注视点特性，动态地分配计算资源，从而在保证视觉质量的同时，显著提高渲染速度。此外，利用注视点渲染结果持续优化外围高斯模型，也使得该方法能够适应动态变化，并减少预处理的需求。
关键设计：外围高斯模型的生成和优化是关键设计之一。具体来说，该方法利用体数据初始化高斯模型，然后利用注视点路径追踪的结果，通过优化高斯模型的参数（如位置、颜色、不透明度等），使其更好地逼近真实的场景。此外，深度引导的重投影也能够有效地减少延迟带来的视觉伪影。
🖼️ 关键图片
📊 实验亮点
该方法能够在保证视觉质量的前提下，实现交互式的渲染速度。实验结果表明，该方法可以在一秒内重新生成外围模型，显著减少了预处理的需求。与直接路径追踪相比，该方法在渲染速度上具有明显的优势。与传统的高斯溅射方法相比，该方法能够更好地适应动态变化，并提供更高的视觉质量。
🎯 应用场景
该研究成果可应用于医学教学、手术规划、远程医疗等领域。医生和学生可以通过VR设备，以交互式的方式观察和操作三维解剖模型，从而更深入地理解人体结构和病理变化。此外，该技术还可以用于手术规划，帮助医生制定更精确的手术方案，提高手术成功率。远程医疗方面，医生可以利用该技术与患者进行远程会诊，提供更直观的诊断和治疗建议。
📄 摘要（原文）
Volumetric medical imaging offers great potential for understanding complex pathologies. Yet, traditional 2D slices provide little support for interpreting spatial relationships, forcing users to mentally reconstruct anatomy into three dimensions. Direct volumetric path tracing and VR rendering can improve perception but are computationally expensive, while precomputed representations, like Gaussian Splatting, require planning ahead. Both approaches limit interactive use. We propose a hybrid rendering approach for high-quality, interactive, and immersive anatomical visualization. Our method combines streamed foveated path tracing with a lightweight Gaussian Splatting approximation of the periphery. The peripheral model generation is optimized with volume data and continuously refined using foveal renderings, enabling interactive updates. Depth-guided reprojection further improves robustness to latency and allows users to balance fidelity with refresh rate. We compare our method against direct path tracing and Gaussian Splatting. Our results highlight how their combination can preserve strengths in visual quality while re-generating the peripheral model in under a second, eliminating extensive preprocessing and approximations. This opens new options for interactive medical visualization.