NeRF-US: Removing Ultrasound Imaging Artifacts from Neural Radiance Fields in the Wild

📄 arXiv: 2408.10258v2 📥 PDF

作者: Rishit Dagli, Atsuhiro Hibi, Rahul G. Krishnan, Pascal N. Tyrrell

分类: cs.CV, cs.LG

发布日期: 2024-08-13 (更新: 2024-08-21)

💡 一句话要点

NeRF-US：提出一种去除野生超声成像神经辐射场伪影的方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 超声成像 三维重建 伪影去除 扩散模型 医学影像 新视角合成

📋 核心要点

  1. 现有基于NeRF的超声图像3D重建方法易受伪影影响，且在非受控环境下重建效果差，限制了其临床应用。
  2. NeRF-US通过引入3D几何引导的边界概率和散射密度，并结合超声特定渲染，有效抑制伪影。
  3. 在“野生超声”数据集上的实验表明，NeRF-US能够生成准确、临床可信且无伪影的重建结果。

📝 摘要（中文）

当前在超声成像数据中进行3D重建和新视角合成(NVS)的方法，在训练基于NeRF的方法时经常面临严重的伪影。这些伪影与一般场景中的NeRF浮动伪影不同，因为超声捕获具有独特性。此外，当在不受控制的环境中随意捕获或获得超声数据时（这在临床环境中很常见），现有模型无法产生合理的3D重建。因此，现有的重建和NVS方法难以处理超声运动，无法捕捉复杂的细节，并且无法建模透明和反射表面。本文介绍了NeRF-US，它将3D几何引导的边界概率和散射密度融入NeRF训练中，同时利用超声特定的渲染方式替代传统的体渲染。这些3D先验是通过扩散模型学习的。通过在我们新的“野生超声”数据集上进行的实验，我们观察到了准确、临床上合理的、无伪影的重建。

🔬 方法详解

问题定义：现有的基于NeRF的超声图像三维重建方法在实际临床环境中表现不佳，主要原因是超声图像特有的伪影，例如散射、反射和阴影等。这些伪影与传统NeRF中遇到的“浮动”伪影不同，使得直接应用现有NeRF方法难以获得高质量的重建结果。此外，临床环境中超声数据的获取通常是在非受控条件下进行的，这进一步加剧了重建的难度。

核心思路：NeRF-US的核心思路是利用3D几何先验知识来指导NeRF的训练过程，从而抑制超声图像中的伪影。具体来说，该方法通过学习边界概率和散射密度来建模超声图像的特性，并将其融入到NeRF的体渲染过程中。此外，NeRF-US还采用了超声特定的渲染方式，以更好地适应超声图像的特点。

技术框架：NeRF-US的整体框架包括以下几个主要模块：1) 基于扩散模型的3D几何先验学习模块，用于学习边界概率和散射密度；2) NeRF网络，用于学习场景的辐射场表示；3) 超声特定渲染模块，用于将辐射场渲染成超声图像。在训练过程中，首先利用扩散模型学习3D几何先验，然后将这些先验知识融入到NeRF的训练过程中，最后利用超声特定渲染模块生成重建结果。

关键创新：NeRF-US的关键创新在于将3D几何先验知识融入到NeRF的训练过程中，从而有效地抑制了超声图像中的伪影。与现有方法相比，NeRF-US能够更好地建模超声图像的特性，并生成更准确、更鲁棒的重建结果。此外，该方法还提出了超声特定的渲染方式，进一步提升了重建的质量。

关键设计：在3D几何先验学习模块中，使用了扩散模型来学习边界概率和散射密度。扩散模型能够生成高质量的3D几何先验，从而有效地指导NeRF的训练。在NeRF网络中，使用了多层感知机（MLP）来学习场景的辐射场表示。在超声特定渲染模块中，使用了超声图像的物理模型来模拟超声波的传播过程，从而生成更真实的重建结果。损失函数包括重建损失、正则化损失和先验损失，用于约束NeRF的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeRF-US在“野生超声”数据集上取得了显著的成果，能够生成准确、临床可信且无伪影的重建结果。与现有方法相比，NeRF-US在重建质量和鲁棒性方面均有显著提升。实验结果表明，NeRF-US能够有效地抑制超声图像中的伪影，并生成更清晰、更真实的3D重建结果。

🎯 应用场景

NeRF-US在医学影像领域具有广泛的应用前景，例如胎儿超声成像、肿瘤检测和诊断、以及手术导航等。该方法能够生成高质量的3D超声图像，帮助医生更好地理解病灶的结构和形态，从而提高诊断的准确性和效率。此外，NeRF-US还可以用于远程医疗和医学教育，为医生和学生提供更直观、更逼真的超声图像。

📄 摘要（原文）

Current methods for performing 3D reconstruction and novel view synthesis (NVS) in ultrasound imaging data often face severe artifacts when training NeRF-based approaches. The artifacts produced by current approaches differ from NeRF floaters in general scenes because of the unique nature of ultrasound capture. Furthermore, existing models fail to produce reasonable 3D reconstructions when ultrasound data is captured or obtained casually in uncontrolled environments, which is common in clinical settings. Consequently, existing reconstruction and NVS methods struggle to handle ultrasound motion, fail to capture intricate details, and cannot model transparent and reflective surfaces. In this work, we introduced NeRF-US, which incorporates 3D-geometry guidance for border probability and scattering density into NeRF training, while also utilizing ultrasound-specific rendering over traditional volume rendering. These 3D priors are learned through a diffusion model. Through experiments conducted on our new "Ultrasound in the Wild" dataset, we observed accurate, clinically plausible, artifact-free reconstructions.