Post-TIPS Prediction via Multimodal Interaction: A Multi-Center Dataset and Framework for Survival, Complication, and Portal Pressure Assessment

📄 arXiv: 2510.10464v1 📥 PDF

作者: Junhao Dong, Dejia Liu, Ruiqi Ding, Zongxing Chen, Yingjie Huang, Zhu Meng, Jianbo Zhao, Zhicheng Zhao, Fei Su

分类: cs.CV

发布日期: 2025-10-12

备注: 81 pages, 13 figures

💡 一句话要点

提出MultiTIPS数据集和多模态交互框架，用于TIPS术后生存、并发症和门静脉压力评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: TIPS手术 多模态学习 预后预测 医学图像分析 多任务学习

📋 核心要点

  1. 现有TIPS预后模型依赖人工标注ROI，单模态方法泛化性差，且评估指标单一，限制了临床应用。
  2. 提出MultiTIPS数据集和多模态交互框架，利用半监督和基础模型进行ROI分割，并融合多模态特征。
  3. 实验表明，该方法在生存预测、并发症评估和门静脉压力预测方面均优于现有方法，并具有良好的泛化性。

📝 摘要（中文）

经颈静脉肝内门体分流术(TIPS)是治疗门静脉高压的成熟方法，但生存结果差异大，且常发生明显的肝性脑病(OHE)，表明需要准确的术前预后建模。目前的研究通常从术前CT图像或临床特征构建机器学习模型，但面临三个关键挑战：(1)费力的人工感兴趣区域(ROI)标注，(2)单模态方法的可靠性和泛化性差，(3)单终点预测评估不完整。此外，缺乏公开可访问的数据集限制了该领域的研究。因此，我们提出了MultiTIPS，这是第一个用于TIPS预后的公共多中心数据集，并在此基础上提出了一个新的多模态预后框架。该框架包括三个核心模块：(1)双选项分割，集成了半监督和基于基础模型的流程，以在有限的标注下实现稳健的ROI分割，并促进后续的特征提取；(2)多模态交互，引入了多粒度放射组学注意力(MGRA)、渐进正交解耦(POD)和临床指导的预后增强(CGPE)三种技术，以实现跨模态特征交互和互补表示集成，从而提高模型准确性和鲁棒性；(3)多任务预测，采用分阶段训练策略，对生存、门静脉压力梯度(PPG)和OHE预测进行稳定优化，以进行全面的预后评估。在MultiTIPS上的大量实验表明，该方法优于最先进的方法，并具有强大的跨域泛化能力和可解释性，表明其在临床应用中的前景。数据集和代码已公开。

🔬 方法详解

问题定义：现有TIPS术后预后模型主要依赖于人工标注的CT图像ROI和临床特征，存在标注成本高、单模态方法泛化性差、以及仅关注单一预后指标（如生存率）的问题。这些问题限制了模型的临床应用价值，无法为医生提供全面的预后评估信息。

核心思路：该论文的核心思路是利用多模态信息（CT图像和临床数据）进行互补，通过精巧设计的模块实现跨模态特征的有效交互和融合，从而提升预后预测的准确性和鲁棒性。同时，采用多任务学习框架，同时预测生存率、门静脉压力梯度和肝性脑病等多个指标，提供更全面的预后评估。

技术框架：该框架包含三个主要模块：(1) 双选项分割模块：用于自动分割CT图像中的ROI，减少人工标注负担。(2) 多模态交互模块：利用多粒度放射组学注意力(MGRA)、渐进正交解耦(POD)和临床指导的预后增强(CGPE)三种技术，实现CT图像特征和临床特征的有效交互和融合。(3) 多任务预测模块：采用分阶段训练策略，同时预测生存率、门静脉压力梯度和肝性脑病等多个指标。

关键创新：该论文的关键创新在于多模态交互模块的设计，特别是MGRA、POD和CGPE三种技术的结合。MGRA关注不同粒度的放射组学特征，POD用于解耦模态间的冗余信息，CGPE则利用临床知识指导特征融合，这三者共同作用，实现了更有效的跨模态特征交互和互补表示集成。此外，MultiTIPS数据集的贡献也十分重要，为该领域的研究提供了宝贵的数据资源。

关键设计：双选项分割模块集成了半监督学习和基于Foundation Model的分割流程，具体实现细节未知。多模态交互模块中，MGRA的具体实现方式（例如注意力机制的选择和参数设置）未知，POD如何进行正交解耦的具体算法也未知。多任务预测模块的分阶段训练策略的具体阶段划分和损失函数设计未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在MultiTIPS数据集上进行了广泛的实验，结果表明该方法在生存预测、门静脉压力梯度预测和肝性脑病预测方面均优于现有方法。具体的性能提升数据未知，但摘要中强调了其优于state-of-the-art方法，并具有强大的跨域泛化能力和可解释性。

🎯 应用场景

该研究成果可应用于临床TIPS手术的术前风险评估，帮助医生更准确地预测患者的术后生存率、并发症发生风险和门静脉压力变化，从而制定更个性化的治疗方案，改善患者的预后。此外，MultiTIPS数据集的发布将促进TIPS预后研究的发展。

📄 摘要（原文）

Transjugular intrahepatic portosystemic shunt (TIPS) is an established procedure for portal hypertension, but provides variable survival outcomes and frequent overt hepatic encephalopathy (OHE), indicating the necessity of accurate preoperative prognostic modeling. Current studies typically build machine learning models from preoperative CT images or clinical characteristics, but face three key challenges: (1) labor-intensive region-of-interest (ROI) annotation, (2) poor reliability and generalizability of unimodal methods, and (3) incomplete assessment from single-endpoint prediction. Moreover, the lack of publicly accessible datasets constrains research in this field. Therefore, we present MultiTIPS, the first public multi-center dataset for TIPS prognosis, and propose a novel multimodal prognostic framework based on it. The framework comprises three core modules: (1) dual-option segmentation, which integrates semi-supervised and foundation model-based pipelines to achieve robust ROI segmentation with limited annotations and facilitate subsequent feature extraction; (2) multimodal interaction, where three techniques, multi-grained radiomics attention (MGRA), progressive orthogonal disentanglement (POD), and clinically guided prognostic enhancement (CGPE), are introduced to enable cross-modal feature interaction and complementary representation integration, thus improving model accuracy and robustness; and (3) multi-task prediction, where a staged training strategy is used to perform stable optimization of survival, portal pressure gradient (PPG), and OHE prediction for comprehensive prognostic assessment. Extensive experiments on MultiTIPS demonstrate the superiority of the proposed method over state-of-the-art approaches, along with strong cross-domain generalization and interpretability, indicating its promise for clinical application. The dataset and code are available.