Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

📄 arXiv: 2604.24187v1 📥 PDF

作者: Patris Valera, Magdalena Wysocki, Felix Duelmer, Mohammad Farid Azampour, Sebastian Herz, Stefan Wörz, Nassir Navab

分类: cs.CV

发布日期: 2026-04-27

💡 一句话要点

提出Ultra-Wide-NeRF，用于宽视野超声重建，解决伪影和混叠问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 超声重建 NeRF 宽视野成像 医学影像 神经渲染

📋 核心要点

  1. 传统宽视野超声重建易受伪影和混叠影响，源于凸探头和深度依赖的分辨率变化。
  2. Ultra-Wide-NeRF通过建模波束几何和使用各向异性3D高斯，有效缓解伪影和混叠问题。
  3. 该方法生成连续神经表示，支持从任意视角合成高保真图像，并已在心内超声心动图中验证。

📝 摘要（中文）

本文提出了一种基于多元3D高斯NeRF（MVG NeRF）的Ultra-Wide-NeRF方法，用于宽视野（WFoV）超声重建。临床超声体积主要使用凸探头获取，产生扩展的发散声束以最大化解剖覆盖范围。传统上，拼接这些扫描会引入显著的复合伪影和由于深度依赖分辨率变化引起的混叠。Ultra-Wide-NeRF通过使用距离相关的凸体积采样和各向异性3D高斯显式建模复杂的波束几何形状，从而固有地减轻了这些复合伪影并提供抗混叠。除了简单地重建静态3D网格之外，我们的NeRF方法还产生了组织的连续神经表示，从而能够从任意虚拟轨迹合成高保真新视角。我们在体模和猪数据集上验证了Ultra-Wide-NeRF在心内超声心动图中的应用，证明了我们的方法扩展了术中导航中重要的空间背景。

🔬 方法详解

问题定义：宽视野超声重建旨在提供更广阔的解剖结构信息，但传统方法在拼接凸探头扫描数据时，由于声束发散特性和深度相关的分辨率变化，会引入显著的复合伪影和混叠现象，影响图像质量和后续分析。现有方法难以有效建模复杂的声束几何形状，导致重建精度受限。

核心思路：Ultra-Wide-NeRF的核心思路是利用NeRF的神经渲染能力，将超声图像重建问题转化为一个连续的神经表示学习问题。通过显式建模超声波束的几何形状，并使用各向异性3D高斯函数来表示空间中的体素，该方法能够更准确地模拟超声波的传播过程，从而减轻伪影和混叠。

技术框架：Ultra-Wide-NeRF的整体框架包括以下几个主要步骤：1) 数据采集：使用凸探头采集多角度的超声图像；2) 波束建模：根据探头参数和超声传播特性，建立精确的波束几何模型；3) 体积采样：基于波束模型，进行距离相关的凸体积采样，确定采样点的位置；4) 特征提取：使用神经网络提取采样点的特征；5) 神经渲染：将特征输入到NeRF网络中，生成新的视角图像；6) 损失计算与优化：计算生成图像与真实图像之间的差异，通过反向传播优化网络参数。

关键创新：Ultra-Wide-NeRF的关键创新在于：1) 显式建模超声波束几何形状，更准确地反映了超声波的传播特性；2) 使用各向异性3D高斯函数表示空间中的体素，能够更好地适应超声图像的分辨率变化；3) 基于NeRF的连续神经表示，可以生成任意视角的超声图像，提高了重建的灵活性和实用性。与现有方法相比，Ultra-Wide-NeRF能够更有效地减轻伪影和混叠，提高重建图像的质量。

关键设计：Ultra-Wide-NeRF的关键设计包括：1) 距离相关的凸体积采样策略，确保采样点能够覆盖整个重建区域；2) 各向异性3D高斯函数的参数化方式，使其能够适应不同深度下的分辨率变化；3) NeRF网络的结构设计，包括MLP的层数、神经元数量等，以及损失函数的选择，例如L1损失或L2损失等。具体的参数设置需要根据数据集和实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在体模和猪数据集上验证了Ultra-Wide-NeRF的有效性。实验结果表明，该方法能够显著减轻宽视野超声重建中的伪影和混叠，提高图像质量。与传统方法相比，Ultra-Wide-NeRF能够生成更清晰、更准确的超声图像，为临床应用提供了有力的支持。具体性能数据（如PSNR、SSIM等）将在后续公开的代码中提供。

🎯 应用场景

Ultra-Wide-NeRF在医学影像领域具有广泛的应用前景，尤其是在术中导航、介入治疗和远程诊断等方面。它可以提供更广阔的解剖结构信息，帮助医生更好地了解病灶的位置和形态，提高手术的精确性和安全性。此外，该方法还可以用于超声图像的增强和修复，提高图像质量，辅助医生进行诊断。

📄 摘要（原文）

Wide Field-of-View (WFoV) reconstruction enhances 3D ultrasound imaging by providing valuable anatomical context for segmentation models and visualization. Clinical ultrasound volumes are predominantly acquired using convex probes, which generate expanding, diverging acoustic beams to maximize anatomical coverage. Stitching these sweeps together traditionally introduces significant compounding artifacts and aliasing due to depth-dependent resolution changes. Here, we introduce Ultra-Wide-NeRF, a Multivariate 3D Gaussian (MVG) NeRF-based method for WFoV ultrasound reconstruction. By explicitly modeling the complex beam geometry using distance-dependent convex volumetric sampling and anisotropic 3D Gaussians, our method inherently mitigates these compounding artifacts and provides anti-aliasing. Beyond simply reconstructing a static 3D grid, our NeRF-based approach yields a continuous neural representation of the tissue, enabling the synthesis of high-fidelity novel views from arbitrary virtual trajectories. We validate Ultra-Wide-NeRF for intracardiac echocardiography on phantom and porcine datasets, demonstrating that our method expands the spatial context important in intraoperative navigation. Code will be open-sourced upon publication.