ViT3D Alignment of LLaMA3: 3D Medical Image Report Generation

📄 arXiv: 2410.08588v1 📥 PDF

作者: Siyou Li, Beining Xu, Yihao Luo, Dong Nie, Le Zhang

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-10-11

💡 一句话要点

ViT3D对齐LLaMA3用于3D医学影像报告生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像报告生成 3D图像处理 Vision Transformer 大型语言模型 多模态学习

📋 核心要点

  1. 医学影像报告生成耗时耗力，现有方法难以充分利用3D影像信息。
  2. 利用ViT3D提取3D影像特征，对齐LLaMA3语言模型，实现端到端报告生成。
  3. 实验表明，该方法在MRG和VQA任务上均优于基线模型，验证了有效性。

📝 摘要（中文）

本文提出了一种基于多模态大型语言模型的自动医学报告生成(MRG)方法。该方法利用M3D-CLIP中引入的3D Vision Transformer (ViT3D)图像编码器处理3D扫描，并使用Asclepius-Llama3-8B作为语言模型，通过自回归解码生成文本报告。实验结果表明，该模型在MRG任务验证集上实现了平均0.3的Green评分，在视觉问答(VQA)任务验证集上实现了平均0.61的准确率，优于基线模型。该方法证明了ViT3D对齐LLaMA3在自动MRG和VQA任务中的有效性，并通过在小数据集上进行微调实现。

🔬 方法详解

问题定义：论文旨在解决自动医学报告生成（MRG）问题，即从医学图像自动生成详细的文本报告。现有方法可能无法充分利用3D医学图像中的空间信息，或者在生成报告的质量和效率方面存在不足。

核心思路：论文的核心思路是利用3D Vision Transformer (ViT3D)有效地提取3D医学图像的特征，并将其与大型语言模型（LLaMA3）对齐，从而实现高质量的医学报告生成。通过对齐图像特征和文本表示，模型能够理解图像内容并生成相应的报告。

技术框架：整体框架包含两个主要模块：图像编码器和语言模型。图像编码器采用ViT3D，负责将3D医学图像转换为特征向量。语言模型采用Asclepius-Llama3-8B，负责接收图像特征并生成文本报告。整个流程是端到端的，通过联合训练或微调，使图像特征和文本表示对齐。

关键创新：关键创新在于将ViT3D与LLaMA3相结合，用于3D医学图像报告生成。ViT3D能够有效地处理3D图像数据，提取空间信息，而LLaMA3作为大型语言模型，具有强大的文本生成能力。这种结合能够生成更准确、更详细的医学报告。与现有方法相比，该方法更注重3D信息的利用和多模态信息的融合。

关键设计：图像编码器使用M3D-CLIP中引入的ViT3D，具体结构未知。语言模型使用Asclepius-Llama3-8B，具体参数设置未知。损失函数和训练策略未知，但提到在小数据集上进行了微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该模型在MRG任务验证集上实现了平均0.3的Green评分，在视觉问答(VQA)任务验证集上实现了平均0.61的准确率，优于基线模型。这些结果验证了ViT3D对齐LLaMA3在自动MRG和VQA任务中的有效性。

🎯 应用场景

该研究成果可应用于放射科辅助诊断，减轻医生报告撰写负担，提高诊断效率。未来可扩展到其他医学影像模态和疾病类型，实现更智能化的医学影像分析和报告生成，辅助临床决策，提升医疗服务水平。

📄 摘要（原文）

Automatic medical report generation (MRG), which aims to produce detailed text reports from medical images, has emerged as a critical task in this domain. MRG systems can enhance radiological workflows by reducing the time and effort required for report writing, thereby improving diagnostic efficiency. In this work, we present a novel approach for automatic MRG utilizing a multimodal large language model. Specifically, we employed the 3D Vision Transformer (ViT3D) image encoder introduced from M3D-CLIP to process 3D scans and use the Asclepius-Llama3-8B as the language model to generate the text reports by auto-regressive decoding. The experiment shows our model achieved an average Green score of 0.3 on the MRG task validation set and an average accuracy of 0.61 on the visual question answering (VQA) task validation set, outperforming the baseline model. Our approach demonstrates the effectiveness of the ViT3D alignment of LLaMA3 for automatic MRG and VQA tasks by tuning the model on a small dataset.