BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys

📄 arXiv: 2310.10765v3 📥 PDF

作者: Yu Gu, Jianwei Yang, Naoto Usuyama, Chunyuan Li, Sheng Zhang, Matthew P. Lungren, Jianfeng Gao, Hoifung Poon

分类: cs.CV, cs.AI, cs.CL

发布日期: 2023-10-16 (更新: 2023-10-21)

备注: Project page & demo: https://aka.ms/biomedjourney

💡 一句话要点

提出BiomedJourney以解决生物医学图像生成中的反事实问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学图像生成 反事实生成 多模态学习 指令学习 潜在扩散模型 疾病进展建模 图像编辑

📋 核心要点

  1. 现有的通用图像编辑模型不适用于生物医学领域，反事实图像生成的研究相对匮乏。
  2. BiomedJourney通过多模态患者旅程进行反事实生物医学图像生成，利用GPT-4生成疾病进展描述。
  3. 在MIMIC-CXR数据集上的实验显示，BiomedJourney在反事实医学图像生成方面显著超越了InstructPix2Pix等现有方法。

📝 摘要（中文）

随着自然语言指令的图像编辑技术的快速发展，生物医学领域的反事实图像生成尚未得到充分探索。本文提出BiomedJourney，一种通过多模态患者旅程进行反事实生物医学图像生成的新方法。该方法利用GPT-4处理成像报告，生成疾病进展的自然语言描述，并结合图像和描述训练潜在扩散模型。实验表明，BiomedJourney在反事实医学图像生成方面显著优于现有方法，展示了其在疾病进展建模中的潜力。

🔬 方法详解

问题定义：本文旨在解决生物医学领域中反事实图像生成的不足，现有方法无法有效区分因果结构与虚假相关性，导致图像解释的鲁棒性不足。

核心思路：BiomedJourney通过多模态患者旅程的指令学习，结合成像报告生成自然语言描述，从而实现反事实图像生成。此设计旨在利用丰富的文本信息来增强图像生成的准确性和相关性。

技术框架：该方法包括两个主要阶段：首先，使用单图像-报告对进行去噪网络的预训练；其次，利用生成的反事实三元组（先前图像、进展描述、新图像）进行进一步训练。

关键创新：BiomedJourney的创新在于将多模态信息与潜在扩散模型结合，显著提升了反事实图像生成的效果，尤其是在生物医学领域的应用上。

关键设计：在训练过程中，采用了两阶段的课程学习策略，初期使用大量单图像-报告对进行预训练，后期则专注于反事实三元组的训练，以提高模型的生成能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIMIC-CXR数据集的实验中，BiomedJourney在反事实医学图像生成任务上显著超越了现有的最先进方法，如InstructPix2Pix和RoentGen，展示了其在生成质量和准确性上的显著提升，具体性能数据未提供。

🎯 应用场景

BiomedJourney在生物医学图像生成领域具有广泛的应用潜力，能够帮助医生更好地理解疾病进展，辅助临床决策。此外，该方法的创新性设计为未来的医学图像生成研究提供了新的思路和工具，可能推动个性化医疗的发展。

📄 摘要（原文）

Rapid progress has been made in instruction-learning for image editing with natural-language instruction, as exemplified by InstructPix2Pix. In biomedicine, such methods can be applied to counterfactual image generation, which helps differentiate causal structure from spurious correlation and facilitate robust image interpretation for disease progression modeling. However, generic image-editing models are ill-suited for the biomedical domain, and counterfactual biomedical image generation is largely underexplored. In this paper, we present BiomedJourney, a novel method for counterfactual biomedical image generation by instruction-learning from multimodal patient journeys. Given a patient with two biomedical images taken at different time points, we use GPT-4 to process the corresponding imaging reports and generate a natural language description of disease progression. The resulting triples (prior image, progression description, new image) are then used to train a latent diffusion model for counterfactual biomedical image generation. Given the relative scarcity of image time series data, we introduce a two-stage curriculum that first pretrains the denoising network using the much more abundant single image-report pairs (with dummy prior image), and then continues training using the counterfactual triples. Experiments using the standard MIMIC-CXR dataset demonstrate the promise of our method. In a comprehensive battery of tests on counterfactual medical image generation, BiomedJourney substantially outperforms prior state-of-the-art methods in instruction image editing and medical image generation such as InstructPix2Pix and RoentGen. To facilitate future study in counterfactual medical generation, we plan to release our instruction-learning code and pretrained models.