Multi-View Consistent Wound Segmentation With Neural Fields

📄 arXiv: 2601.16487v1 📥 PDF

作者: Remi Chierchia, Léo Lebrat, David Ahmedt-Aristizabal, Yulia Arzhaeva, Olivier Salvado, Clinton Fookes, Rodrigo Santa Cruz

分类: cs.CV

发布日期: 2026-01-23

💡 一句话要点

提出WoundNeRF，用于多视角一致的伤口分割，提升3D重建精度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 伤口分割 神经辐射场 NeRF 符号距离函数 SDF 三维重建 多视角学习

📋 核心要点

  1. 现有伤口分割方法难以从2D图像中重建多视角一致的3D结构，限制了伤口愈合跟踪的精度。
  2. 论文提出WoundNeRF，一种基于NeRF SDF的方法，利用神经场进行伤口分割，实现更鲁棒的3D重建。
  3. 实验结果表明，WoundNeRF在伤口分割精度上优于Vision Transformer网络和传统栅格化算法。

📝 摘要（中文）

伤口护理在全球范围内面临着经济和后勤负担的挑战。近年来，医疗专业人员开始寻求计算机视觉和机器学习算法的支持。其中，伤口分割因其能够从标准RGB图像中为专业人员提供快速、自动的组织评估而备受关注。一些方法已将分割扩展到3D，从而能够更完整、更精确地跟踪愈合进展。然而，从2D图像推断多视角一致的3D结构仍然是一个挑战。在本文中，我们评估了WoundNeRF，这是一种基于NeRF SDF的方法，用于从自动生成的注释中估计鲁棒的伤口分割。通过将其与最先进的Vision Transformer网络和传统的基于栅格化的算法进行比较，我们证明了这种范式在恢复精确分割方面的潜力。代码将被发布，以促进这一有前景的范式的进一步发展。

🔬 方法详解

问题定义：论文旨在解决从多视角2D图像中进行一致性3D伤口分割的问题。现有方法，特别是基于传统图像处理和深度学习的方法，在处理视角变化、光照变化以及伤口形状复杂性时，难以保证分割结果在不同视角下的一致性，导致3D重建精度受限。

核心思路：论文的核心思路是利用神经辐射场（NeRF）的强大3D重建能力，结合符号距离函数（SDF）来表示伤口表面。通过优化NeRF，使得从不同视角渲染的图像与实际观测图像一致，同时SDF保证了伤口表面的几何一致性。这种方法能够有效地融合多视角信息，从而实现更准确和鲁棒的3D伤口分割。

技术框架：WoundNeRF的技术框架主要包括以下几个阶段：1) 数据采集：从多个视角获取伤口的RGB图像。2) 自动标注：使用现有的分割算法对2D图像进行初步标注，生成伪标签。3) NeRF SDF优化：利用多视角图像和伪标签，优化NeRF网络，学习伤口的3D表示。优化过程中，使用渲染损失和SDF损失来约束NeRF的学习。4) 分割结果提取：从优化后的NeRF中提取伤口的3D分割结果。

关键创新：论文的关键创新在于将NeRF和SDF结合，用于解决多视角一致性伤口分割问题。与传统的基于体素或网格的3D重建方法相比，NeRF具有更高的重建精度和更强的鲁棒性。同时，SDF的引入保证了伤口表面的几何一致性，避免了NeRF可能产生的伪影。此外，使用自动生成的伪标签降低了人工标注的成本。

关键设计：WoundNeRF的关键设计包括：1) NeRF网络结构：采用标准的NeRF网络结构，包括位置编码、多层感知机（MLP）等。2) SDF表示：使用MLP来表示SDF，将3D坐标映射到符号距离值。3) 损失函数：损失函数包括渲染损失（L1或L2损失）和SDF损失（例如，Eikonal损失），用于约束NeRF的学习。4) 优化算法：使用Adam优化器进行网络参数的优化。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，WoundNeRF在伤口分割精度上优于最先进的Vision Transformer网络和传统的基于栅格化的算法。具体而言，WoundNeRF在Dice系数和IoU等指标上取得了显著提升，表明其能够更准确地分割伤口区域。此外，WoundNeRF在多视角一致性方面也表现出更好的性能，能够生成更鲁棒的3D伤口模型。

🎯 应用场景

该研究成果可应用于远程医疗、伤口自动评估、个性化治疗方案制定等领域。通过精确的3D伤口分割，医生可以更准确地评估伤口大小、深度和组织类型，从而更好地跟踪伤口愈合进展，并及时调整治疗方案。此外，该技术还可以用于开发智能伤口护理设备，实现伤口的自动监测和管理。

📄 摘要（原文）

Wound care is often challenged by the economic and logistical burdens that consistently afflict patients and hospitals worldwide. In recent decades, healthcare professionals have sought support from computer vision and machine learning algorithms. In particular, wound segmentation has gained interest due to its ability to provide professionals with fast, automatic tissue assessment from standard RGB images. Some approaches have extended segmentation to 3D, enabling more complete and precise healing progress tracking. However, inferring multi-view consistent 3D structures from 2D images remains a challenge. In this paper, we evaluate WoundNeRF, a NeRF SDF-based method for estimating robust wound segmentations from automatically generated annotations. We demonstrate the potential of this paradigm in recovering accurate segmentations by comparing it against state-of-the-art Vision Transformer networks and conventional rasterisation-based algorithms. The code will be released to facilitate further development in this promising paradigm.