OSCAR: Occupancy-based Shape Completion via Acoustic Neural Implicit Representations
作者: Magdalena Wysocki, Kadir Burak Buldu, Miruna-Alexandra Gafencu, Mohammad Farid Azampour, Nassir Navab
分类: cs.CV
发布日期: 2026-03-09
💡 一句话要点
提出基于声学神经隐式表达的椎体超声图像补全方法，解决遮挡和信号变化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 超声图像重建 形状补全 神经隐式表达 医学影像 脊柱手术
📋 核心要点
- 超声重建椎体解剖结构对微创手术至关重要，但声影和信号变化使其极具挑战。
- 提出一种基于声学神经隐式表达的形状补全方法，无需解剖标签即可重建完整3D结构。
- 实验表明，该方法在HD95评分上超越现有技术80%，并在多种成像条件下表现出鲁棒性。
📝 摘要（中文）
本文提出了一种基于占用的形状补全方法，用于从部分超声观测中重建完整的3D椎体解剖结构。该方法直接从图像中提取解剖表面，无需推理过程中的解剖标签，这对于术中应用至关重要。这种无标签补全依赖于耦合的潜在空间，该空间同时表示图像外观和潜在的解剖形状。通过利用神经隐式表达（NIR），该方法联合建模空间占用和声学交互，利用声学参数隐式地感知未见区域，而无需显式的阴影标签，通过跟踪声学信号传输。实验结果表明，该方法在HD95评分上优于最先进的B超声形状补全方法80%。在计算机模拟和体模超声图像上，通过与CT标签注册的网格模型进行验证，证明了该方法能够准确重建被遮挡的解剖结构，并在不同的成像条件下具有鲁棒的泛化能力。
🔬 方法详解
问题定义：现有基于超声的椎体三维重建方法，由于超声成像本身的局限性，如声影遮挡和视角相关的信号变化，导致重建结果不完整，难以满足临床需求。特别是在术中应用中，需要快速准确地重建椎体结构，而传统方法依赖于耗时的人工标注或复杂的预处理步骤，限制了其应用。
核心思路：本文的核心思路是利用神经隐式表达（NIR）同时建模空间占用和声学交互，从而在没有显式阴影标签的情况下，通过声学参数隐式地感知被遮挡的区域。通过学习图像外观和潜在解剖形状的耦合潜在空间，实现从部分超声图像直接重建完整的三维椎体结构。
技术框架：该方法包含以下主要模块：1) 一个编码器，用于将超声图像编码到潜在空间中；2) 一个神经隐式表达网络，用于学习空间占用和声学交互；3) 一个解码器，用于从潜在空间重建三维椎体结构。整个框架通过端到端的方式进行训练，目标是最小化重建误差和占用预测误差。
关键创新：该方法最重要的技术创新点在于利用声学信息作为隐式的监督信号，从而在没有显式阴影标签的情况下，实现对被遮挡区域的形状补全。与现有方法相比，该方法不需要人工标注或复杂的预处理步骤，可以直接从超声图像中重建完整的三维椎体结构。
关键设计：该方法使用了一个多层感知机（MLP）作为神经隐式表达网络，输入是三维空间坐标和潜在向量，输出是占用概率和声学参数。损失函数包括重建损失和占用预测损失。重建损失用于约束重建的三维结构与真实结构之间的差异，占用预测损失用于约束神经隐式表达网络学习正确的空间占用信息。具体网络结构和参数设置在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在HD95评分上优于最先进的B超声形状补全方法80%。在计算机模拟和体模超声图像上进行了验证，证明了该方法能够准确重建被遮挡的解剖结构，并在不同的成像条件下具有鲁棒的泛化能力。与现有方法相比，该方法不需要人工标注或复杂的预处理步骤，可以直接从超声图像中重建完整的三维椎体结构。
🎯 应用场景
该研究成果可应用于微创脊柱手术导航，帮助医生在术中实时重建椎体结构，提高手术精度和安全性。此外，该方法还可扩展到其他医学影像领域，如肝脏、肾脏等器官的三维重建，具有广阔的应用前景。未来，该技术有望与机器人技术结合，实现更智能化的手术操作。
📄 摘要（原文）
Accurate 3D reconstruction of vertebral anatomy from ultrasound is important for guiding minimally invasive spine interventions, but it remains challenging due to acoustic shadowing and view-dependent signal variations. We propose an occupancy-based shape completion method that reconstructs complete 3D anatomical geometry from partial ultrasound observations. Crucially for intra-operative applications, our approach extracts the anatomical surface directly from the image, avoiding the need for anatomical labels during inference. This label-free completion relies on a coupled latent space representing both the image appearance and the underlying anatomical shape. By leveraging a Neural Implicit Representation (NIR) that jointly models both spatial occupancy and acoustic interactions, the method uses acoustic parameters to become implicitly aware of the unseen regions without explicit shadowing labels through tracking acoustic signal transmission. We show that this method outperforms state-of-the-art shape completion for B-mode ultrasound by 80% in HD95 score. We validate our approach both in-silico and on phantom US images with registered mesh models from CT labels, demonstrating accurate reconstruction of occluded anatomy and robust generalization across diverse imaging conditions. Code and data will be released on publication.