Gaussian Random Fields as an Abstract Representation of Patient Metadata for Multimodal Medical Image Segmentation
作者: Bill Cassidy, Christian McBride, Connah Kendrick, Neil D. Reeves, Joseph M. Pappachan, Shaghayegh Raad, Moi Hoon Yap
分类: eess.IV, cs.CV
发布日期: 2025-03-07 (更新: 2025-03-19)
DOI: 10.1038/s41598-025-03393-x
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于高斯随机场的患者元数据融合方法，提升糖尿病足溃疡的多模态图像分割性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态分割 高斯随机场 患者元数据 糖尿病足溃疡 医学图像分析
📋 核心要点
- 慢性伤口分割任务面临挑战，现有方法未能有效利用患者元数据信息。
- 论文提出将患者元数据表示为高斯随机场，并融入多模态分割模型训练中。
- 实验表明，该方法在糖尿病足溃疡分割任务上，相较基线方法，IoU和Dice系数均有提升。
📝 摘要（中文）
近年来，慢性伤口（尤其是在糖尿病患者中）的发生率日益增长，已成为一个令人担忧的趋势。慢性伤口的治疗既困难又昂贵，给全球医疗保健系统带来了沉重负担。慢性伤口可能对患者造成毁灭性后果，感染通常会导致生活质量下降和死亡风险增加。用于检测和监测此类伤口的创新深度学习方法有可能减轻对患者和临床医生的影响。本文提出了一种新颖的多模态分割方法，该方法允许将患者元数据引入训练工作流程，其中患者数据表示为高斯随机场。结果表明，当使用多个在不同元数据类别上训练的模型时，该方法提高了性能。在使用 Diabetic Foot Ulcer Challenge 2022 测试集时，与基线结果（交并比 = 0.4670，Dice 系数 = 0.5908）相比，交并比和 Dice 系数分别提高了 +0.0220 和 +0.0229。本文首次专注于将患者数据集成到慢性伤口分割工作流程中。结果表明，使用特定元数据类别训练单个模型，然后使用距离变换对预测掩码进行平均合并，可以显著提高性能。该研究的所有源代码均可在以下网址获得：https://github.com/mmu-dermatology-research/multimodal-grf
🔬 方法详解
问题定义：论文旨在解决慢性伤口，特别是糖尿病足溃疡的精确分割问题。现有方法主要集中在图像数据本身，忽略了患者的元数据信息，如年龄、病史等，这些信息可能对伤口分割有重要影响。因此，如何有效地将患者元数据融入到分割模型中是一个关键挑战。
核心思路：论文的核心思路是将患者的元数据表示为高斯随机场（Gaussian Random Fields, GRF）。GRF能够捕捉元数据之间的相关性，并将其转化为一种空间表示，从而可以与图像数据进行融合。通过将元数据编码为GRF，模型可以学习到患者的个体特征，从而提高分割的准确性。
技术框架：整体框架包括以下几个阶段：1) 元数据编码：将患者的元数据（如年龄、病史等）编码为高斯随机场。2) 模型训练：使用不同的元数据类别训练多个分割模型。每个模型专注于特定类型的元数据。3) 预测融合：使用训练好的模型对测试图像进行分割，得到多个预测掩码。然后，使用距离变换对这些预测掩码进行平均合并，得到最终的分割结果。
关键创新：论文的关键创新在于将高斯随机场引入到患者元数据的表示中，并将其与多模态分割模型相结合。这是首次尝试将患者数据集成到慢性伤口分割工作流程中。通过使用GRF，模型能够更好地理解患者的个体特征，从而提高分割的准确性。
关键设计：论文的关键设计包括：1) 使用高斯核函数生成高斯随机场，参数的选择需要根据具体的数据集进行调整。2) 训练多个模型，每个模型使用不同的元数据类别。3) 使用距离变换对预测掩码进行平均合并，以获得更准确的分割结果。距离变换可以平滑分割边界，减少噪声的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在 Diabetic Foot Ulcer Challenge 2022 测试集上，相较于基线方法，交并比（IoU）提高了 0.0220，Dice 系数提高了 0.0229。这表明该方法能够有效利用患者元数据，提升慢性伤口分割的准确性。
🎯 应用场景
该研究成果可应用于糖尿病足溃疡的自动检测与分割，辅助医生进行诊断和治疗方案制定。通过整合患者元数据，可以实现个性化的医疗服务，提高治疗效果，降低医疗成本。未来，该方法可推广到其他慢性伤口或疾病的图像分析任务中。
📄 摘要（原文）
The growing rate of chronic wound occurrence, especially in patients with diabetes, has become a concerning trend in recent years. Chronic wounds are difficult and costly to treat, and have become a serious burden on health care systems worldwide. Chronic wounds can have devastating consequences for the patient, with infection often leading to reduced quality of life and increased mortality risk. Innovative deep learning methods for the detection and monitoring of such wounds have the potential to reduce the impact to both patient and clinician. We present a novel multimodal segmentation method which allows for the introduction of patient metadata into the training workflow whereby the patient data are expressed as Gaussian random fields. Our results indicate that the proposed method improved performance when utilising multiple models, each trained on different metadata categories. Using the Diabetic Foot Ulcer Challenge 2022 test set, when compared to the baseline results (intersection over union = 0.4670, Dice similarity coefficient = 0.5908) we demonstrate improvements of +0.0220 and +0.0229 for intersection over union and Dice similarity coefficient respectively. This paper presents the first study to focus on integrating patient data into a chronic wound segmentation workflow. Our results show significant performance gains when training individual models using specific metadata categories, followed by average merging of prediction masks using distance transforms. All source code for this study is available at: https://github.com/mmu-dermatology-research/multimodal-grf