Radiomics-guided Multimodal Self-attention Network for Predicting Pathological Complete Response in Breast MRI

📄 arXiv: 2406.02936v1 📥 PDF

作者: Jonghun Kim, Hyunjin Park

分类: eess.IV, cs.CV

发布日期: 2024-06-05

备注: 5 pages, 5 figures, IEEE ISBI 2024 proceedings

DOI: 10.1109/ISBI56570.2024.10635671

💡 一句话要点

提出一种Radiomics引导的多模态自注意力网络，用于预测乳腺MRI病理完全缓解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乳腺癌 病理完全缓解 多模态融合 自注意力机制 Radiomics 医学影像分析 深度学习

📋 核心要点

  1. 现有方法难以有效融合多模态乳腺MRI信息，且缺乏对肿瘤区域特征的针对性提取。
  2. 利用Radiomics特征引导自注意力机制，从DCE MRI和ADC图中提取肿瘤相关区域的特征。
  3. 实验结果表明，该模型在预测乳腺癌患者的病理完全缓解方面优于其他基线方法。

📝 摘要（中文）

乳腺癌是女性中最常见的癌症，预测抗癌治疗后的病理完全缓解（pCR）对于患者预后和治疗定制至关重要。深度学习在医学影像诊断中展现出潜力，尤其是在利用多种影像模态来提高准确性时。本研究提出了一种模型，该模型使用动态对比增强（DCE）磁共振成像（MRI）和表观扩散系数（ADC）图来预测乳腺癌患者的pCR。Radiomics特征是肿瘤区域的手工特征，因此在医学图像分析中可能很有用。我们的方法使用带有自注意力机制的编码器从DCE MRI和ADC中提取特征，利用Radiomics来指导从肿瘤相关区域提取特征。实验结果表明，与其它基线方法相比，我们的模型在预测pCR方面表现出优越的性能。

🔬 方法详解

问题定义：该论文旨在解决乳腺癌治疗后病理完全缓解（pCR）的预测问题。现有方法在利用多模态乳腺MRI数据（如DCE-MRI和ADC图）时，难以有效融合不同模态的信息，并且缺乏对肿瘤区域特征的针对性提取，导致预测精度不高。

核心思路：论文的核心思路是利用Radiomics特征来引导特征提取过程。Radiomics特征是手工设计的肿瘤区域特征，能够提供关于肿瘤形态、纹理等方面的先验知识。通过将Radiomics特征融入到自注意力机制中，可以使模型更加关注肿瘤相关区域，从而提高特征提取的效率和准确性。

技术框架：该模型主要包含以下几个模块：1) 数据输入：DCE-MRI和ADC图作为输入；2) Radiomics特征提取：提取肿瘤区域的Radiomics特征；3) 特征编码器：使用带有自注意力机制的编码器从DCE-MRI和ADC图中提取特征，Radiomics特征用于引导自注意力机制；4) pCR预测：将提取的特征输入到分类器中，预测患者是否达到pCR。

关键创新：该论文的关键创新在于将Radiomics特征与自注意力机制相结合，用于引导多模态乳腺MRI数据的特征提取。与传统的深度学习方法相比，该方法能够更加有效地利用肿瘤区域的先验知识，提高特征提取的针对性和准确性。

关键设计：论文中关键的设计包括：1) 自注意力机制的具体实现方式，例如使用Transformer结构；2) Radiomics特征如何融入到自注意力机制中，例如作为注意力权重的先验信息；3) 损失函数的设计，例如使用交叉熵损失函数来训练分类器；4) 编码器的网络结构，例如使用卷积神经网络或循环神经网络。

📊 实验亮点

该研究提出了一种Radiomics引导的多模态自注意力网络，用于预测乳腺癌患者的病理完全缓解。实验结果表明，该模型在预测pCR方面优于其他基线方法，证明了Radiomics特征引导的自注意力机制在多模态乳腺MRI数据分析中的有效性。具体的性能数据和提升幅度在原文中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于乳腺癌的精准医疗，辅助医生预测患者对抗癌治疗的反应，从而制定个性化的治疗方案。通过预测病理完全缓解，可以避免过度治疗或及时调整治疗策略，提高患者的生存率和生活质量。该方法也可推广到其他癌症类型的治疗反应预测中。

📄 摘要（原文）

Breast cancer is the most prevalent cancer among women and predicting pathologic complete response (pCR) after anti-cancer treatment is crucial for patient prognosis and treatment customization. Deep learning has shown promise in medical imaging diagnosis, particularly when utilizing multiple imaging modalities to enhance accuracy. This study presents a model that predicts pCR in breast cancer patients using dynamic contrast-enhanced (DCE) magnetic resonance imaging (MRI) and apparent diffusion coefficient (ADC) maps. Radiomics features are established hand-crafted features of the tumor region and thus could be useful in medical image analysis. Our approach extracts features from both DCE MRI and ADC using an encoder with a self-attention mechanism, leveraging radiomics to guide feature extraction from tumor-related regions. Our experimental results demonstrate the superior performance of our model in predicting pCR compared to other baseline methods.