Multimodal Doctor-in-the-Loop: A Clinically-Guided Explainable Framework for Predicting Pathological Response in Non-Small Cell Lung Cancer

📄 arXiv: 2505.01390v1 📥 PDF

作者: Alice Natalina Caragliano, Claudia Tacconi, Carlo Greco, Lorenzo Nibid, Edy Ippolito, Michele Fiore, Giuseppe Perrone, Sara Ramella, Paolo Soda, Valerio Guarrasi

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-05-02

备注: arXiv admin note: substantial text overlap with arXiv:2502.17503

💡 一句话要点

提出多模态医生在环框架，用于预测非小细胞肺癌的病理反应。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 深度学习 可解释人工智能 医生在环 非小细胞肺癌

📋 核心要点

  1. 现有放射组学和单模态深度学习方法在预测非小细胞肺癌病理反应方面存在局限性。
  2. 提出一种多模态医生在环方法，通过中间融合策略整合影像和临床数据，并嵌入临床医生领域知识。
  3. 实验结果表明，该方法提高了预测准确性和可解释性，为临床应用提供了更优的数据集成策略。

📝 摘要（中文）

本研究提出了一种新颖的方法，将多模态深度学习与内在可解释人工智能技术相结合，用于预测接受新辅助治疗的非小细胞肺癌患者的病理反应。 针对现有放射组学和单模态深度学习方法的局限性，我们引入了一种中间融合策略，整合了影像和临床数据，从而实现了数据模态之间的高效交互。 提出的多模态医生在环方法通过将临床医生的领域知识直接嵌入到训练过程中，进一步增强了临床相关性，引导模型逐渐将注意力从更广泛的肺部区域转移到特定病灶。 结果表明，该方法提高了预测准确性和可解释性，为临床应用的最佳数据集成策略提供了见解。

🔬 方法详解

问题定义：论文旨在解决非小细胞肺癌患者接受新辅助治疗后病理反应的预测问题。现有方法，如放射组学和单模态深度学习，无法充分利用多模态数据，且缺乏临床医生的专业知识指导，导致预测精度和可解释性不足。

核心思路：论文的核心思路是将多模态深度学习与内在可解释人工智能技术相结合，并引入“医生在环”的概念，将临床医生的领域知识嵌入到模型训练过程中。通过这种方式，模型能够更好地理解临床数据，并做出更准确的预测。

技术框架：该框架包含以下主要模块：1) 数据预处理模块，用于处理影像和临床数据；2) 中间融合模块，用于整合多模态数据；3) 深度学习模型，用于预测病理反应；4) 医生在环模块，用于将临床医生的知识嵌入到模型训练中；5) 可解释性分析模块，用于分析模型的预测结果。整体流程是从数据输入开始，经过多模态融合和深度学习预测，再由医生根据临床经验进行反馈，指导模型训练，最终输出预测结果和可解释性分析。

关键创新：该论文的关键创新在于“医生在环”的概念，即将临床医生的领域知识直接嵌入到模型训练过程中。这与传统的黑盒深度学习模型不同，它允许医生对模型的预测结果进行干预和指导，从而提高模型的准确性和可解释性。此外，中间融合策略也是一个创新点，它能够有效地整合影像和临床数据，充分利用多模态信息的优势。

关键设计：论文采用中间融合策略，具体融合方式未知。医生在环模块的具体实现方式未知，可能涉及到损失函数的调整或者模型结构的修改。深度学习模型的具体结构未知，但可能采用了卷积神经网络（CNN）或循环神经网络（RNN）等常见的深度学习模型。损失函数的选择未知，但可能采用了交叉熵损失函数或均方误差损失函数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文结果表明，提出的多模态医生在环方法提高了预测准确性和可解释性。虽然具体的性能数据和对比基线没有在摘要中给出，但强调了该方法在数据集成方面的优势，为临床应用提供了更优的策略。具体的提升幅度未知。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行非小细胞肺癌患者的个体化治疗方案制定。通过预测患者对新辅助治疗的反应，医生可以更好地选择合适的治疗方案，提高治疗效果，并减少不必要的副作用。此外，该研究还可以促进多模态数据在医学领域的应用，推动人工智能在医疗领域的进一步发展。

📄 摘要（原文）

This study proposes a novel approach combining Multimodal Deep Learning with intrinsic eXplainable Artificial Intelligence techniques to predict pathological response in non-small cell lung cancer patients undergoing neoadjuvant therapy. Due to the limitations of existing radiomics and unimodal deep learning approaches, we introduce an intermediate fusion strategy that integrates imaging and clinical data, enabling efficient interaction between data modalities. The proposed Multimodal Doctor-in-the-Loop method further enhances clinical relevance by embedding clinicians' domain knowledge directly into the training process, guiding the model's focus gradually from broader lung regions to specific lesions. Results demonstrate improved predictive accuracy and explainability, providing insights into optimal data integration strategies for clinical applications.