ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
作者: Hangjie Yuan, Yichen Qian, Zhiwei Tang, Xianzhe Xu, Lirong Wu, Sicheng Yang, Jinwang Wang, Pengju Wang, Zhitao Zeng, Yizeng Han, Yan Xing, Shengxuan Luo, Tao Feng, Qing Xie, Weigen Yao, Yi Yang, Zuozhu Liu, Jiasheng Tang, Shaocheng Wang, Jitao Wang, Jiahong Dong, Weihua Chen, Feng Xu, Fan Wang
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-07-27
备注: Code: https://github.com/alibaba-damo-academy/ClinFusion; Models: https://huggingface.co/collections/Alibaba-DAMO-Academy/clinfusion
💡 一句话要点
提出ClinFusion以解决医疗领域多模态理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 医学图像理解 级联视觉编码器 临床报告生成 视觉基础评估框架
📋 核心要点
- 现有的多模态大型语言模型在医学图像理解和评估上存在显著不足，无法有效整合2D和3D图像信息。
- ClinFusion通过设计级联视觉编码器和Cascade Spatial-Aware Locality Fusion操作符，统一处理多种医学图像，提升理解能力。
- ClinFusion在20个基准测试中超越了领先的开源医学MLLM，并在13个基准测试中优于强大的专有模型，显示出卓越的多模态能力。
📝 摘要（中文）
多模态大型语言模型（MLLMs）在临床实践中具有巨大的潜力，但在医疗领域的应用面临视觉中心的挑战：模型必须从异构的2D和3D医学图像中吸收知识，评估协议必须与放射科医生的临床实践对齐，并提供准确、细致和基于事实的评估。本文介绍了ClinFusion，这是一种以视觉为中心的MLLM，旨在系统性地解决这些局限性。我们提出了一种组合和级联的视觉编码器架构，采用Cascade Spatial-Aware Locality Fusion操作符，将多样的2D和原生3D医学图像理解统一在一个融合编码器中。此外，我们还引入了一个以视觉为基础的评估框架，包括用于指令跟随评估的MedIF-Bench和基于感兴趣区域的方法，用于临床对齐和基于事实的报告生成评估。实验结果表明，ClinFusion在一系列2D和3D多模态医学基准测试中设立了新的最先进水平。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在医学领域的应用挑战，尤其是如何有效整合和理解异构的2D和3D医学图像。现有方法在知识吸收和评估协议上存在明显不足，无法满足临床实践的需求。
核心思路：ClinFusion的核心思路是构建一个以视觉为中心的多模态语言模型，通过级联的视觉编码器架构和特定的融合操作符，系统性地处理和理解不同类型的医学图像数据。这样的设计旨在提高模型对复杂医学信息的理解能力，并确保评估方法与临床实践相一致。
技术框架：ClinFusion的整体架构包括多个主要模块：首先是级联视觉编码器，负责处理2D和3D医学图像；其次是Cascade Spatial-Aware Locality Fusion操作符，用于融合不同来源的信息；最后是视觉基础的评估框架，包括MedIF-Bench和基于感兴趣区域的评估方法。
关键创新：ClinFusion的关键创新在于其级联视觉编码器和Cascade Spatial-Aware Locality Fusion操作符的设计，这使得模型能够在同一框架内有效融合和理解多种类型的医学图像，显著提升了多模态理解的能力。
关键设计：在设计中，ClinFusion采用了特定的损失函数和参数设置，以优化模型在医学图像理解和生成任务中的表现。此外，模型的评估方法也经过精心设计，以确保与临床专家的判断高度一致。
🖼️ 关键图片
📊 实验亮点
ClinFusion在20个基准测试中超越了领先的开源医学MLLM，并在13个基准测试中优于强大的专有模型，显示出卓越的多模态能力。经过放射科医生的盲评，ClinFusion生成的报告获得了最高排名，验证了其评估指标与专家判断之间的强相关性。
🎯 应用场景
ClinFusion在医疗领域的潜在应用包括辅助放射科医生进行图像分析、生成临床报告以及支持临床决策。其系统化的多模态理解能力可以显著提升医疗工作流程的效率和准确性，未来可能在智能医疗系统中发挥重要作用。
📄 摘要（原文）
Multimodal large language models (MLLMs) hold immense potential to revolutionize clinical practice, yet deploying them in the medical domain is fundamentally a vision-centric challenge: models must absorb knowledge from heterogeneous 2D and 3D medical images, and evaluation protocols must align with radiologists' clinical practice and provide an accurate, fine-grained and factualness-driven assessment. In this paper, we introduce ClinFusion, a vision-centric MLLM designed for holistic medical understanding that systematically addresses these limitations. We propose a compositional and cascaded vision encoder architecture featuring a Cascade Spatial-Aware Locality Fusion operator that unifies diverse 2D and native 3D medical image understanding within a fused encoder. We further introduce a vision-grounded evaluation framework, including MedIF-Bench for instruction-following assessment and a region-of-interest-grounded method for clinically aligned and factualness-driven report generation evaluation. We show that ClinFusion sets a new state-of-the-art across a comprehensive suite of 2D and 3D multimodal medical benchmarks---spanning visual question answering, report generation, and instruction following---as well as textual medical tasks, outperforming leading open-source medical MLLMs (\textit{e.g.}, Hulu-Med, Lingshu) on 20 out of 24 benchmarks and demonstrating multimodal capabilities better than powerful proprietary models such as GPT-5.2 and Gemini-3-Flash on 13 out of 16 benchmarks, and can be further augmented with agentic tool use for retrieval-augmented and tool-assisted clinical workflows. A blinded evaluation by board-certified radiologists confirms that ClinFusion produces the highest-ranked reports, and validates our RoI-grounded metric as achieving the strongest correlation with expert judgment among all automatic evaluation metrics examined.