LLM Augmented Intervenable Multimodal Adaptor for Post-operative Complication Prediction in Lung Cancer Surgery

📄 arXiv: 2601.14154v1 📥 PDF

作者: Shubham Pandey, Bhavin Jawade, Srirangaraj Setlur, Venu Govindaraju, Kenneth Seastedt

分类: cs.CV, cs.AI

发布日期: 2026-01-20

备注: Accepted to P2P-CV @ WACV 2026

💡 一句话要点

MIRACLE：融合临床与影像数据，可干预的LLM增强多模态适配器，用于肺癌术后并发症预测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肺癌 术后并发症预测 多模态融合 深度学习 可干预学习 临床决策支持 超球面嵌入 大型语言模型

📋 核心要点

  1. 现有方法难以有效整合临床记录和高维影像数据，导致术后并发症预测精度不足，且缺乏可解释性。
  2. MIRACLE通过超球面嵌入空间融合异构数据，并引入可干预模块，提升预测精度和临床实用性。
  3. 在包含3094名患者的真实数据集POC-L上验证，MIRACLE优于传统机器学习模型和大型语言模型。

📝 摘要（中文）

术后并发症是临床实践中的一个关键问题，它对患者的预后产生不利影响，并导致医疗保健成本的上升。本文提出了一种名为MIRACLE的深度学习架构，通过整合术前临床和放射影像数据来预测肺癌手术术后并发症的风险。MIRACLE采用异构输入的超球面嵌入空间融合，从而能够从结构化的临床记录和高维放射影像中提取鲁棒的、具有区分性的特征。为了提高预测的透明度和临床实用性，MIRACLE中加入了一个可干预的深度学习模块，该模块不仅可以改进预测，还可以提供可解释的和可操作的见解，允许领域专家根据临床专业知识交互式地调整建议。我们在POC-L数据集上验证了我们的方法，该数据集包含在罗斯威尔帕克综合癌症中心接受手术的3094名肺癌患者的真实数据。结果表明，MIRACLE在个性化和可解释的术后风险管理方面优于各种传统的机器学习模型和当代大型语言模型（LLM）变体。

🔬 方法详解

问题定义：论文旨在解决肺癌手术后并发症预测问题。现有方法通常难以有效整合结构化的临床记录和高维的放射影像数据，导致预测精度不高，并且缺乏可解释性，难以支持临床决策。此外，现有模型通常是黑盒模型，医生无法根据自身经验进行干预和调整。

核心思路：论文的核心思路是构建一个多模态融合模型，利用超球面嵌入空间将临床数据和影像数据融合在一起，提取鲁棒且具有区分性的特征。同时，引入一个可干预的深度学习模块，允许医生根据临床经验对模型的预测结果进行调整，提高模型的临床实用性和可信度。

技术框架：MIRACLE的整体架构包含以下几个主要模块：1) 数据预处理模块：对临床数据和影像数据进行清洗和标准化。2) 特征提取模块：使用深度学习模型（如CNN、Transformer）从临床数据和影像数据中提取特征。3) 超球面嵌入空间融合模块：将提取的特征映射到超球面嵌入空间，并进行融合。4) 预测模块：使用融合后的特征进行术后并发症风险预测。5) 可干预模块：允许医生根据临床经验对预测结果进行调整。

关键创新：论文的关键创新在于：1) 提出了基于超球面嵌入空间的多模态融合方法，能够有效整合异构数据。2) 引入了可干预的深度学习模块，提高了模型的临床实用性和可信度。3) 将大型语言模型（LLM）融入到框架中，增强了模型的泛化能力。

关键设计：论文中关键的设计包括：1) 超球面嵌入空间的维度选择。2) 融合不同模态特征的权重设置。3) 可干预模块的干预方式和干预强度。4) 损失函数的设计，例如使用交叉熵损失函数进行分类，并加入正则化项防止过拟合。具体的网络结构和参数设置在论文中应该有详细描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MIRACLE在POC-L数据集上进行了验证，结果表明其性能优于传统的机器学习模型和当代大型语言模型（LLM）变体。具体的性能数据（如AUC、准确率等）和提升幅度需要在论文中查找。该研究证明了多模态融合和可干预深度学习在术后风险预测中的有效性。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行肺癌术后并发症风险评估，制定个性化的治疗方案，降低并发症发生率，改善患者预后，并降低医疗成本。未来可扩展到其他类型的手术并发症预测，具有广阔的应用前景。

📄 摘要（原文）

Postoperative complications remain a critical concern in clinical practice, adversely affecting patient outcomes and contributing to rising healthcare costs. We present MIRACLE, a deep learning architecture for prediction of risk of postoperative complications in lung cancer surgery by integrating preoperative clinical and radiological data. MIRACLE employs a hyperspherical embedding space fusion of heterogeneous inputs, enabling the extraction of robust, discriminative features from both structured clinical records and high-dimensional radiological images. To enhance transparency of prediction and clinical utility, we incorporate an interventional deep learning module in MIRACLE, that not only refines predictions but also provides interpretable and actionable insights, allowing domain experts to interactively adjust recommendations based on clinical expertise. We validate our approach on POC-L, a real-world dataset comprising 3,094 lung cancer patients who underwent surgery at Roswell Park Comprehensive Cancer Center. Our results demonstrate that MIRACLE outperforms various traditional machine learning models and contemporary large language models (LLM) variants alone, for personalized and explainable postoperative risk management.