Augmented Intelligence for Multimodal Virtual Biopsy in Breast Cancer Using Generative Artificial Intelligence
作者: Aurora Rofena, Claudia Lucia Piccolo, Bruno Beomonte Zobel, Paolo Soda, Valerio Guarrasi
分类: eess.IV, cs.AI, cs.CV
发布日期: 2025-01-31
💡 一句话要点
利用生成式AI增强乳腺癌多模态虚拟活检的智能辅助诊断
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 乳腺癌诊断 虚拟活检 生成式AI 多模态融合 医学影像 深度学习 FFDM CESM
📋 核心要点
- 传统乳腺癌筛查中，FFDM在致密乳腺组织中效果有限，CESM虽更准确但有辐射和可及性问题。
- 利用生成式AI，从FFDM图像合成CESM图像，结合多模态信息进行虚拟活检，辅助诊断。
- 实验表明，合成CESM图像能有效提升虚拟活检性能，尤其在多模态融合时优于单独使用FFDM。
📝 摘要（中文）
全视野数字乳腺X线摄影(FFDM)是乳腺癌常规筛查的主要影像学方法，但在乳腺组织致密或患有纤维囊性疾病的患者中，其有效性受到限制。对比增强光谱乳腺X线摄影(CESM)作为一种二线影像技术，在肿瘤检测方面具有更高的准确性。然而，由于更高的辐射暴露、造影剂的使用和有限的可及性，其应用受到限制。因此，CESM通常仅用于特定病例，导致许多患者仅依赖FFDM，尽管CESM具有更优越的诊断性能。虽然活检仍然是明确诊断的金标准，但它是一种侵入性手术，可能给患者带来不适。我们提出了一种多模态、多视角的深度学习虚拟活检方法，整合了FFDM和CESM的颅尾位和内外斜位视图，以将病变分类为恶性或良性。为了解决CESM数据缺失的挑战，我们利用生成式人工智能从FFDM扫描中推断CESM图像。实验结果表明，结合CESM模态对于提高虚拟活检的性能至关重要。当真实CESM数据缺失时，合成CESM图像被证明是有效的，优于单独使用FFDM，尤其是在结合FFDM和CESM模态的多模态配置中。该方法有潜力改进诊断工作流程，为临床医生提供增强的智能工具，以提高诊断准确性和患者护理水平。此外，作为对研究界的贡献，我们公开发布了实验中使用的数据集，以促进该领域的进一步发展。
🔬 方法详解
问题定义：论文旨在解决乳腺癌诊断中，FFDM在致密乳腺组织中诊断准确率不足，而CESM由于辐射和可及性问题无法广泛应用的问题。现有方法依赖侵入性活检或单一模态影像，存在诊断延迟或过度诊断的风险。
核心思路：论文的核心思路是利用生成式AI，从易于获取的FFDM图像中合成对应的CESM图像，从而在无需额外辐射暴露的情况下，获得类似CESM的诊断信息。然后，将合成的CESM图像与原始FFDM图像融合，利用多模态信息进行更准确的病灶分类。
技术框架：整体框架包含两个主要阶段：1) CESM图像生成阶段：使用生成对抗网络（GAN）或变分自编码器（VAE）等生成模型，以FFDM图像为输入，生成对应的CESM图像。2) 虚拟活检阶段：将原始FFDM图像和生成的CESM图像作为多模态输入，输入到深度学习分类模型中，预测病灶的良恶性。模型采用多视角（颅尾位和内外斜位）信息融合，进一步提升诊断准确率。
关键创新：论文的关键创新在于利用生成式AI来填补CESM数据缺失的空白，将原本难以获取的CESM信息转化为可用的数据，从而在不增加患者负担的前提下，提升诊断性能。这种方法为多模态医学影像分析提供了一种新的思路。
关键设计：论文的关键设计可能包括：1) 生成模型的选择和训练：选择合适的GAN或VAE架构，并设计合适的损失函数，以保证生成的CESM图像的质量和真实性。2) 多模态融合策略：设计有效的多模态融合方法，例如特征级融合或决策级融合，以充分利用FFDM和CESM的信息。3) 分类模型的选择和训练：选择合适的深度学习分类模型，例如卷积神经网络（CNN）或Transformer，并进行充分的训练和验证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合合成CESM图像的虚拟活检方法，在诊断性能上优于单独使用FFDM。尤其是在多模态配置下，性能提升更为显著。这表明，即使在真实CESM数据缺失的情况下，利用生成式AI合成的CESM图像也能有效提升诊断准确率，为临床应用提供了可行性。
🎯 应用场景
该研究成果可应用于乳腺癌的早期筛查和诊断，辅助医生进行更准确的病灶评估，减少不必要的活检。通过提供虚拟的CESM影像，可以降低患者的辐射暴露，并提高诊断效率。未来，该技术有望推广到其他医学影像领域，解决数据缺失和模态融合的问题。
📄 摘要（原文）
Full-Field Digital Mammography (FFDM) is the primary imaging modality for routine breast cancer screening; however, its effectiveness is limited in patients with dense breast tissue or fibrocystic conditions. Contrast-Enhanced Spectral Mammography (CESM), a second-level imaging technique, offers enhanced accuracy in tumor detection. Nonetheless, its application is restricted due to higher radiation exposure, the use of contrast agents, and limited accessibility. As a result, CESM is typically reserved for select cases, leaving many patients to rely solely on FFDM despite the superior diagnostic performance of CESM. While biopsy remains the gold standard for definitive diagnosis, it is an invasive procedure that can cause discomfort for patients. We introduce a multimodal, multi-view deep learning approach for virtual biopsy, integrating FFDM and CESM modalities in craniocaudal and mediolateral oblique views to classify lesions as malignant or benign. To address the challenge of missing CESM data, we leverage generative artificial intelligence to impute CESM images from FFDM scans. Experimental results demonstrate that incorporating the CESM modality is crucial to enhance the performance of virtual biopsy. When real CESM data is missing, synthetic CESM images proved effective, outperforming the use of FFDM alone, particularly in multimodal configurations that combine FFDM and CESM modalities. The proposed approach has the potential to improve diagnostic workflows, providing clinicians with augmented intelligence tools to improve diagnostic accuracy and patient care. Additionally, as a contribution to the research community, we publicly release the dataset used in our experiments, facilitating further advancements in this field.