Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

📄 arXiv: 2607.20814v1 📥 PDF

作者: Hai-Nam Duy Vuong, Duy-Anh Bui, Trong-Nghia Nguyen, Kim-Ngan Thi Nguyen, Trang Mai Xuan, Tien-Cuong Nguyen, Van-Dem Pham, Thien Van Luong

分类: cs.AI

发布日期: 2026-07-23

备注: 12 pages, 3 figures, accepted at CITA 2026

💡 一句话要点

提出引导基础的多模态框架以增强可解释心脏诊断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图 可解释性 多模态学习 深度学习 临床诊断 卷积神经网络 Grad-CAM 语言模型

📋 核心要点

  1. 现有的深度学习模型在ECG报告生成中缺乏足够的可解释性，导致临床应用受限。
  2. 本文提出的引导基础多模态框架通过注入结构化的ECG解读指南，增强了报告生成的可信度和一致性。
  3. 实验结果显示，该方法在BERTScore上从0.818提升至0.953，表明生成报告与参考报告的对齐度显著提高。

📝 摘要（中文）

心电图（ECG）是心脏评估的重要工具，但深度学习模型在临床应用中受到可解释性不足和大型语言模型（LLMs）幻觉风险的限制。现有的CNN+Grad-CAM+多模态LLM框架生成的ECG报告，其解释往往与既定诊断标准关联不强，降低了可信度和可重复性。本文提出了一种引导基础的多模态框架，明确将报告生成锚定在经过筛选的临床知识上。通过卷积神经网络（CNN）和Grad-CAM生成类概率和类特定热图，同时将权威的ECG教材和指南材料离线提炼为结构化的ECG解读指南，作为每个样本的固定知识块注入。基于ECG图像、Grad-CAM叠加、CNN生成的事实包和注入的指南，生成结构化的诊断报告。实验结果表明，引导基础显著提升了生成报告的语义质量和一致性，同时保持了竞争性的分类性能。

🔬 方法详解

问题定义：本文旨在解决现有ECG报告生成模型在可解释性和可信度方面的不足，尤其是大型语言模型的幻觉风险。现有方法生成的报告往往与临床诊断标准关联不强，影响临床应用。

核心思路：提出的引导基础框架通过将结构化的ECG解读指南注入到生成过程中，确保生成的报告与临床知识紧密结合，从而提高报告的可信度和一致性。

技术框架：整体架构包括三个主要模块：首先，使用卷积神经网络（CNN）和Grad-CAM从12导联ECG图像中生成类概率和热图；其次，离线提炼的ECG解读指南作为固定知识块注入；最后，基于这些信息，使用多模态LLM生成结构化的诊断报告。

关键创新：最重要的创新在于将结构化的临床知识引入到多模态生成过程中，显著提升了生成报告的语义质量和一致性，与现有的CNN+Grad-CAM+MLLM方法相比，提供了更强的解释性。

关键设计：在模型设计中，使用了特定的损失函数以优化生成报告的质量，并确保CNN和Grad-CAM的输出能够有效地与注入的知识块结合，形成高质量的诊断报告。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的引导基础框架在BERTScore上从0.818提升至0.953，相较于强基线CNN+Grad-CAM+MLLM，生成报告的语义质量和一致性显著提高。这一提升表明该方法在减少幻觉和增强临床可行性方面具有重要意义。

🎯 应用场景

该研究的潜在应用领域包括心脏病学、临床诊断支持系统和医疗数据分析。通过增强ECG报告的可解释性和可信度，能够帮助医生更好地理解和使用深度学习模型生成的结果，从而提高临床决策的质量。未来，该方法可能推动更多基于AI的医疗应用落地，促进智能医疗的发展。

📄 摘要（原文）

The electrocardiogram (ECG) is a cornerstone of cardiac as- sessment, yet clinical deployment of deep learning models remains con- strained by limited interpretability and the hallucination risk of large language models (LLMs). Existing CNN+Grad-CAM+multimodal LLM frameworks can generate ECG reports, but their explanations are often only weakly grounded in established diagnostic criteria, reducing trust- worthiness and reproducibility. We propose a guide-grounded multimodal framework that explicitly anchors report generation in curated clinical knowledge. A convolutional neural network (CNN) and Grad-CAM first produce class probabilities and class-specific heatmaps from 12-lead ECG images. In parallel, authoritative ECG textbooks and guideline materials are distilled offline into a structured ECG Interpretation Guide, which is injected as a fixed knowledge block for every sample. Conditioned on the ECG image, Grad-CAM overlay, CNN-derived fact pack, and the in- jected guide, a multimodal LLM generates structured diagnostic reports with guideline-consistent terminology and criteria usage. Experiments on the full PTB-XL test set demonstrate that guide grounding improves se- mantic quality and perceived consistency of generated reports while pre- serving competitive classification performance. In particular, our method increases the average BERTScore of generated impressions from 0.818 to 0.953 relative to a strong CNN+Grad-CAM+MLLM baseline, indicat- ing closer alignment with reference reports. These findings suggest that injecting a distilled interpretation guide into the multimodal prompting pipeline offers a practical pathway to reduce hallucinations and enhance the clinical plausibility of LLM-based ECG explanations, bringing ex- plainable cardiac diagnosis closer to real-world deployment.