ViTaL: A Multimodality Dataset and Benchmark for Multi-pathological Ovarian Tumor Recognition
作者: You Zhou, Lijiang Chen, Guangxia Cui, Wenpei Bai, Yu Guo, Shuchang Lyu, Guangliang Cheng, Qi Zhao
分类: eess.IV, cs.CV
发布日期: 2025-07-06
🔗 代码/项目: GITHUB
💡 一句话要点
提出ViTaL数据集与ViTaL-Net，用于多病理卵巢肿瘤的多模态识别
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 卵巢肿瘤识别 多模态学习 病理分类 深度学习 医学图像分析 数据集 注意力机制
📋 核心要点
- 现有卵巢肿瘤识别方法受限于公开数据集的匮乏，阻碍了深度学习在该领域的应用和发展。
- 论文提出ViTaL-Net，利用三重分层偏移注意力机制（THOAM）有效融合视觉、表格和语言等多模态数据。
- 实验结果表明，ViTaL-Net在卵巢肿瘤多病理分类任务上表现出色，总体准确率达到85%，常见病理类型准确率超过90%。
📝 摘要（中文）
卵巢肿瘤是一种常见的妇科疾病，若未能早期发现，病情会迅速恶化，严重威胁女性健康。深度神经网络有潜力识别卵巢肿瘤，从而降低死亡率，但公共数据集的匮乏阻碍了这一进展。为了解决这个问题，我们引入了一个重要的卵巢肿瘤病理识别数据集，名为ViTaL，它包含来自496名患者的视觉、表格和语言模态数据，涵盖六种病理类别。ViTaL数据集包含三个子集，分别对应于不同的患者数据模态：来自2216张二维超声图像的视觉数据，来自496名患者的医学检查的表格数据，以及来自496名患者的超声报告的语言数据。临床实践中，仅仅区分良性和恶性卵巢肿瘤是不够的。为了实现卵巢肿瘤的多病理分类，我们提出了一种基于三重分层偏移注意力机制（THOAM）的ViTaL-Net，以最小化多模态数据特征融合过程中的损失。这种机制可以有效地增强来自不同模态的信息之间的相关性和互补性。ViTaL-Net作为卵巢肿瘤多病理、多模态分类任务的基准。在我们的综合实验中，所提出的方法表现出令人满意的性能，在两种最常见的卵巢肿瘤病理类型上实现了超过90%的准确率，总体性能达到85%。我们的数据集和代码可在https://github.com/GGbond-study/vitalnet 获取。
🔬 方法详解
问题定义：论文旨在解决卵巢肿瘤多病理类型的精确识别问题。现有方法主要痛点在于缺乏包含多模态数据（图像、表格、文本）的大规模数据集，导致模型难以充分学习不同模态之间的关联性，从而影响诊断准确率。
核心思路：论文的核心思路是构建一个包含多模态信息的卵巢肿瘤数据集（ViTaL），并设计一个能够有效融合这些模态信息的神经网络（ViTaL-Net）。通过多模态信息的互补，提升模型对不同病理类型卵巢肿瘤的识别能力。
技术框架：ViTaL-Net的整体架构包含三个主要分支，分别处理视觉、表格和语言数据。每个分支使用不同的网络结构提取特征，例如，视觉分支可能使用卷积神经网络（CNN），表格分支可能使用全连接网络，语言分支可能使用循环神经网络（RNN）或Transformer。然后，使用提出的三重分层偏移注意力机制（THOAM）融合这些特征。最后，通过分类器预测卵巢肿瘤的病理类型。
关键创新：论文最重要的技术创新点在于提出的三重分层偏移注意力机制（THOAM）。THOAM旨在增强不同模态信息之间的相关性和互补性，从而提升多模态特征融合的效果。与传统的注意力机制不同，THOAM考虑了模态之间的层级关系和偏移关系，能够更精细地捕捉不同模态之间的交互信息。
关键设计：THOAM的具体设计细节未知，但根据描述，它可能包含以下关键设计：1) 分层结构：将不同模态的特征按照层级关系进行组织，例如，先融合低层特征，再融合高层特征。2) 偏移机制：考虑不同模态特征之间的空间或时间偏移，例如，在融合视觉和语言特征时，考虑图像中病灶的位置与报告中描述的位置之间的对应关系。3) 注意力权重：学习不同模态特征之间的注意力权重，从而突出重要信息，抑制噪声信息。损失函数的设计可能包括交叉熵损失，用于优化分类结果，以及一些正则化项，用于防止过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ViTaL-Net在卵巢肿瘤多病理分类任务上取得了显著的性能提升。在两种最常见的病理类型上，ViTaL-Net的准确率超过90%，总体准确率达到85%。这些结果表明，提出的数据集和方法能够有效提升卵巢肿瘤的诊断水平。具体与哪些基线方法进行了对比，以及具体的提升幅度未知。
🎯 应用场景
该研究成果可应用于辅助医生进行卵巢肿瘤的诊断和鉴别，尤其是在病理类型复杂、单模态信息不足的情况下。通过整合超声图像、医学检查数据和超声报告等多模态信息，可以提高诊断的准确性和效率，从而帮助患者获得更及时有效的治疗。未来，该技术有望推广到其他疾病的多模态诊断领域。
📄 摘要（原文）
Ovarian tumor, as a common gynecological disease, can rapidly deteriorate into serious health crises when undetected early, thus posing significant threats to the health of women. Deep neural networks have the potential to identify ovarian tumors, thereby reducing mortality rates, but limited public datasets hinder its progress. To address this gap, we introduce a vital ovarian tumor pathological recognition dataset called \textbf{ViTaL} that contains \textbf{V}isual, \textbf{T}abular and \textbf{L}inguistic modality data of 496 patients across six pathological categories. The ViTaL dataset comprises three subsets corresponding to different patient data modalities: visual data from 2216 two-dimensional ultrasound images, tabular data from medical examinations of 496 patients, and linguistic data from ultrasound reports of 496 patients. It is insufficient to merely distinguish between benign and malignant ovarian tumors in clinical practice. To enable multi-pathology classification of ovarian tumor, we propose a ViTaL-Net based on the Triplet Hierarchical Offset Attention Mechanism (THOAM) to minimize the loss incurred during feature fusion of multi-modal data. This mechanism could effectively enhance the relevance and complementarity between information from different modalities. ViTaL-Net serves as a benchmark for the task of multi-pathology, multi-modality classification of ovarian tumors. In our comprehensive experiments, the proposed method exhibited satisfactory performance, achieving accuracies exceeding 90\% on the two most common pathological types of ovarian tumor and an overall performance of 85\%. Our dataset and code are available at https://github.com/GGbond-study/vitalnet.