Multimodal Generative AI Assists Comprehensive Echocardiographic Interpretation
作者: Yi Qin, Marawan Elbatel, Shanshan Song, Taoran Huang, Jiarong Guo, Ningshu Li, Lehan Wang, Chenxu Zhao, Jiexin He, Machteld J. Boonstra, Stephan van der Zwaard, Marielle C. van de Veerdonk, Pere Lopez-Gutierrez, Lydia Dux-Santoy, Andrea Guala, Enrique Almar-Munoz, Sebastian Johannes Reinstadler, Radek Debiec, Yi-Hang Zhu, Huiyu Zhou, Adrian P Cheong, Yike Guo, Agnes Mayr, Karim Lekadir, Yong Jiang, Nilesh J. Samani, Dacheng Tao, Folkert W. Asselbergs, Hongwen Fei, Alex PW Lee, Xiaomeng Li
分类: cs.CV
发布日期: 2026-10-23
💡 一句话要点
提出EchoChat以解决心脏超声解读专家短缺问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心脏超声 多模态AI 生成模型 临床推理 医学影像分析 人工智能 心血管诊断
📋 核心要点
- 现有的人工智能解决方案在心脏超声解读中存在局限，无法有效模拟临床医生的推理过程。
- 本文提出的EchoChat模型通过结合视觉和语言信息，模拟心脏病专家的认知流程，提供全面的超声分析。
- 实验结果显示，EchoChat在心脏病症识别和量化方面超越了现有最佳模型，F1分数从72.78%提升至82.75%。
📝 摘要（中文）
心脏超声是心血管诊断的基石，但由于经验丰富的解读者短缺，其全球应用受到限制。目前的人工智能解决方案通常作为不透明的“黑箱”运作，或专注于狭窄任务，未能捕捉临床医生的整体、基于指南的推理。本文介绍的EchoChat是一种生成性多模态视觉-语言模型，能够进行全面的心脏超声分析，以支持临床医生的解读。通过模拟心脏病专家的认知工作流程，EchoChat将广泛的医学知识与链式思维推理机制相结合，明确基于视觉证据得出结论。该模型在46358个超声检查的指令对上进行训练，在六个国际医疗中心的多样化队列中建立了新的最先进水平，支持33种心脏病症的广泛诊断范围。
🔬 方法详解
问题定义：本文旨在解决心脏超声解读中专家短缺的问题。现有的AI解决方案往往作为“黑箱”运作，无法有效捕捉临床医生的推理过程，导致诊断准确性不足。
核心思路：EchoChat通过模拟心脏病专家的认知工作流程，结合多模态信息（视觉和语言），实现全面的心脏超声分析，明确基于视觉证据的推理过程。
技术框架：EchoChat的整体架构包括数据预处理、模型训练和推理三个主要阶段。模型通过大量的超声检查指令对进行训练，学习如何将视觉信息与语言描述结合。
关键创新：EchoChat的核心创新在于其链式思维推理机制，使得模型能够在推理过程中明确地基于视觉证据得出结论，这与现有方法的“黑箱”特性形成鲜明对比。
关键设计：模型的训练使用了46358个超声检查的指令对，采用了适当的损失函数和网络结构，以确保在多种心脏病症的识别和量化任务中达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EchoChat在心脏病症识别方面的平均召回率提高了13.54%，在量化任务中R2分数平均提升0.275。此外，与常规解读报告相比，EchoChat生成的报告在诊断准确性和完整性上得到了高级超声医师的更高评价，F1分数从72.78%提升至82.75%。
🎯 应用场景
该研究的潜在应用领域包括医院的心脏病诊断、远程医疗和医学教育等。通过将临床推理整合到多模态AI中，EchoChat有望提升心脏超声的解读效率和准确性，从而改善心血管护理的标准，尤其是在专家资源稀缺的地区。
📄 摘要（原文）
Echocardiography is the cornerstone of cardiovascular diagnostics, yet its global utility is constrained by a critical shortage of experienced interpreters. Current artificial intelligence (AI) solutions remain limited, typically operating as opaque "black boxes" or focusing on narrow tasks that fail to capture the holistic, guideline-driven reasoning of a clinician. Here we introduce EchoChat, a generative multimodal vision-language model that performs comprehensive echocardiographic analysis to support clinician interpretation. By emulating the cognitive workflow of a cardiologist, EchoChat integrates vast medical knowledge with a chain-of-thought reasoning mechanism to explicitly ground its conclusions in visual evidence. Trained on echocardiography-instruction pairs from 46,358 examinations, our model establishes a new state-of-the-art across diverse cohorts from six international medical centers. It supports the broadest diagnostic scope of 33 cardiac conditions and findings, including 15 newly added conditions for which it achieves an average F1 of 73.7% across available external evaluations. It surpasses existing best-performing foundation models in cardiac condition recognition (improving average recall by 13.54% on shared tasks) and quantification (average R2 score increase of 0.275 on shared tasks). Furthermore, in a source-blinded echocardiographer reader study, echocardiography reports co-generated with EchoChat were rated higher in diagnostic accuracy and completeness by two senior echocardiographers, and improved diagnostic performance from 72.78% to 82.75% in terms of F1 score over routine-reader only reports. These results demonstrate that integrating clinical reasoning into multimodal AI can democratize specialist expertise and transform the standard of cardiovascular care.