MedVQA-TREE: A Multimodal Reasoning and Retrieval Framework for Sarcopenia Prediction

📄 arXiv: 2508.19319v1 📥 PDF

作者: Pardis Moradbeiki, Nasser Ghadiri, Sayed Jalal Zahabi, Uffe Kock Wiil, Kristoffer Kittelmann Brockhattingen, Ali Ebrahimi

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-08-26

💡 一句话要点

提出MedVQA-TREE框架以解决肌肉减少症预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肌肉减少症 超声诊断 多模态融合 知识检索 深度学习 医疗影像 AI辅助诊断

📋 核心要点

  1. 现有方法在肌肉减少症的超声诊断中面临影像线索微妙、标注数据不足和缺乏临床背景等挑战。
  2. 论文提出的MedVQA-TREE框架通过分层图像解释、门控特征融合和多跳检索策略来解决这些问题。
  3. 实验结果显示，该模型在多个数据集上达到了99%的诊断准确率，超越了现有方法超过10%。

📝 摘要（中文）

准确的肌肉减少症诊断通过超声成像仍然面临挑战，主要由于影像线索微妙、标注数据有限以及大多数模型缺乏临床背景。我们提出了MedVQA-TREE，一个多模态框架，集成了分层图像解释模块、门控特征级融合机制和新颖的多跳多查询检索策略。视觉模块包括解剖分类、区域分割和基于图的空间推理，以捕捉粗、中、细粒度结构。门控融合机制选择性地将视觉特征与文本查询集成，同时通过UMLS引导的管道访问PubMed和特定于肌肉减少症的外部知识库来检索临床知识。MedVQA-TREE在两个公共MedVQA数据集（VQA-RAD和PathVQA）及一个自定义肌肉减少症超声数据集上进行了训练和评估，模型达到了99%的诊断准确率，超越了之前的最先进方法超过10%。这些结果强调了将结构化视觉理解与引导知识检索相结合在肌肉减少症有效AI辅助诊断中的益处。

🔬 方法详解

问题定义：本论文旨在解决肌肉减少症的超声诊断问题，现有方法在影像线索微妙、标注数据有限以及缺乏临床背景等方面存在不足。

核心思路：MedVQA-TREE框架通过结合分层图像解释和多模态信息检索，旨在提高肌肉减少症的诊断准确性和效率。设计上强调了视觉特征与文本查询的有效融合。

技术框架：该框架主要包括三个模块：分层图像解释模块负责解剖分类和区域分割，门控特征融合机制用于整合视觉与文本信息，多跳多查询检索策略则用于临床知识的获取。

关键创新：最重要的创新在于引入了门控特征融合机制和多跳多查询检索策略，这与传统方法的单一特征提取和检索方式有本质区别。

关键设计：模型的关键设计包括使用UMLS引导的知识检索管道，结合PubMed和特定知识库，确保临床知识的准确获取，同时在网络结构中实现了多层次的特征提取与融合。

📊 实验亮点

实验结果表明，MedVQA-TREE模型在VQA-RAD和PathVQA等多个数据集上达到了99%的诊断准确率，较之前的最先进方法提升超过10%，显示出其在肌肉减少症诊断中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床辅助诊断和智能健康管理等。通过提高肌肉减少症的诊断准确性，MedVQA-TREE框架能够为临床医生提供更可靠的决策支持，推动个性化医疗的发展。

📄 摘要（原文）

Accurate sarcopenia diagnosis via ultrasound remains challenging due to subtle imaging cues, limited labeled data, and the absence of clinical context in most models. We propose MedVQA-TREE, a multimodal framework that integrates a hierarchical image interpretation module, a gated feature-level fusion mechanism, and a novel multi-hop, multi-query retrieval strategy. The vision module includes anatomical classification, region segmentation, and graph-based spatial reasoning to capture coarse, mid-level, and fine-grained structures. A gated fusion mechanism selectively integrates visual features with textual queries, while clinical knowledge is retrieved through a UMLS-guided pipeline accessing PubMed and a sarcopenia-specific external knowledge base. MedVQA-TREE was trained and evaluated on two public MedVQA datasets (VQA-RAD and PathVQA) and a custom sarcopenia ultrasound dataset. The model achieved up to 99% diagnostic accuracy and outperformed previous state-of-the-art methods by over 10%. These results underscore the benefit of combining structured visual understanding with guided knowledge retrieval for effective AI-assisted diagnosis in sarcopenia.