Multimodal MRI Report Findings Supervised Brain Lesion Segmentation with Substructures

📄 arXiv: 2602.20994v1 📥 PDF

作者: Yubin Ge, Yongsong Huang, Xiaofeng Liu

分类: eess.IV, cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2026-02-24

备注: IEEE International Symposium on Biomedical Imaging (ISBI) 2026

💡 一句话要点

提出MS-RSuper方法，利用多模态MRI报告监督脑部病灶及其子结构的分割。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤分割 报告监督学习 多模态MRI 不确定性感知 子结构分割

📋 核心要点

  1. 传统报告监督学习方法难以处理多模态MRI报告中不完整和不确定的信息，导致分割效果不佳。
  2. MS-RSuper方法通过解析报告中的定量和定性信息，并结合不确定性感知机制，实现更精确的病灶分割。
  3. 在BraTS-MET/MEN数据集上的实验表明，MS-RSuper方法显著优于现有稀疏监督和朴素RSuper方法。

📝 摘要（中文）

本研究旨在解决报告监督学习（RSuper）在脑肿瘤MRI图像分割中面临的挑战。传统RSuper方法依赖于放射报告中的约束信息，但当涉及多参数扫描和子结构时，报告往往只描述最大的病灶，并提供定性或不确定的线索。为了解决这些问题，我们提出了一个统一的、单边的、不确定性感知公式（MS-RSuper）。该方法显式地解析全局定量和模态相关的定性发现，利用存在/缺失损失将模态特异性的定性线索（如T1c增强、FLAIR水肿）与其对应的子结构对齐，对部分定量线索（如最大病灶大小、最小多重性）强制执行单边下界，并添加额外的/内部轴向解剖先验以尊重队列差异。确定性标记缩放惩罚；缺失线索被降低权重。在1238个带有报告标签的BraTS-MET/MEN扫描上，我们的MS-RSuper方法显著优于稀疏监督基线和朴素的RSuper方法。

🔬 方法详解

问题定义：现有的报告监督学习方法在处理脑肿瘤多模态MRI图像分割任务时，面临着放射报告信息不完整、不确定以及缺乏模态特异性信息的问题。报告通常只关注最大的病灶，并且使用模糊的描述（如“轻微”、“可能”），这使得传统的RSuper损失函数容易产生过约束或幻觉，无法充分利用报告中的信息。此外，现有方法难以有效利用不同病灶类型的先验知识。

核心思路：论文的核心思路是显式地解析多模态MRI报告中的全局定量和模态相关的定性信息，并将其与相应的病灶子结构对齐。通过引入不确定性感知机制，降低不确定信息的影响，并利用解剖先验知识来提高分割的准确性。该方法旨在克服传统RSuper方法在处理不完整和不确定报告信息时的局限性。

技术框架：MS-RSuper方法的整体框架包括以下几个主要模块：1) 报告解析模块：用于解析放射报告中的定量和定性信息，提取病灶的大小、位置、增强情况等特征。2) 模态对齐模块：利用存在/缺失损失将模态特异性的定性线索（如T1c增强、FLAIR水肿）与其对应的子结构对齐。3) 定量约束模块：对部分定量线索（如最大病灶大小、最小多重性）强制执行单边下界约束。4) 解剖先验模块：添加额外的/内部轴向解剖先验以尊重队列差异。5) 不确定性感知模块：使用确定性标记缩放惩罚，并降低缺失线索的权重。

关键创新：MS-RSuper方法的关键创新在于：1) 提出了一个统一的、单边的、不确定性感知公式，能够有效处理报告中的不完整和不确定信息。2) 显式地解析多模态MRI报告中的全局定量和模态相关的定性信息，并将其与相应的病灶子结构对齐。3) 引入了解剖先验知识，提高了分割的准确性。

关键设计：MS-RSuper方法的关键设计包括：1) 使用存在/缺失损失来对齐模态特异性的定性线索和子结构。2) 对部分定量线索强制执行单边下界约束，避免过约束。3) 使用确定性标记缩放惩罚，并降低缺失线索的权重，以实现不确定性感知。4) 添加额外的/内部轴向解剖先验，以尊重队列差异。

🖼️ 关键图片

fig_0

📊 实验亮点

在1238个带有报告标签的BraTS-MET/MEN扫描上，MS-RSuper方法显著优于稀疏监督基线和朴素的RSuper方法。实验结果表明，MS-RSuper方法能够更有效地利用报告中的信息，实现更精确的病灶分割，为脑肿瘤的诊断和治疗提供更有力的支持。

🎯 应用场景

该研究成果可应用于脑肿瘤的自动分割与诊断，辅助医生进行更准确的病情评估和治疗方案制定。通过利用多模态MRI报告中的信息，可以减少对密集标注数据的依赖，降低标注成本，并提高分割的效率和准确性。未来，该方法有望推广到其他医学图像分割任务中，具有广阔的应用前景。

📄 摘要（原文）

Report-supervised (RSuper) learning seeks to alleviate the need for dense tumor voxel labels with constraints derived from radiology reports (e.g., volumes, counts, sizes, locations). In MRI studies of brain tumors, however, we often involve multi-parametric scans and substructures. Here, fine-grained modality/parameter-wise reports are usually provided along with global findings and are correlated with different substructures. Moreover, the reports often describe only the largest lesion and provide qualitative or uncertain cues (mild,''possible''). Classical RSuper losses (e.g., sum volume consistency) can over-constrain or hallucinate unreported findings under such incompleteness, and are unable to utilize these hierarchical findings or exploit the priors of varied lesion types in a merged dataset. We explicitly parse the global quantitative and modality-wise qualitative findings and introduce a unified, one-sided, uncertainty-aware formulation (MS-RSuper) that: (i) aligns modality-specific qualitative cues (e.g., T1c enhancement, FLAIR edema) with their corresponding substructures using existence and absence losses; (ii) enforces one-sided lower-bounds for partial quantitative cues (e.g., largest lesion size, minimal multiplicity); and (iii) adds extra- vs. intra-axial anatomical priors to respect cohort differences. Certainty tokens scale penalties; missing cues are down-weighted. On 1238 report-labeled BraTS-MET/MEN scans, our MS-RSuper largely outperforms both a sparsely-supervised baseline and a naive RSuper method.