RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

📄 arXiv: 2607.22293v1 📥 PDF

作者: Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

分类: cs.CV

发布日期: 2026-07-24

💡 一句话要点

提出RadSight以解决医学多模态图像理解的可靠性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像理解 多模态大语言模型 视觉感知 临床诊断 空间定位 渐进式学习 深度学习

📋 核心要点

  1. 现有医学多模态大语言模型在视觉理解任务中常出现错误，导致诊断不可靠。
  2. RadSight通过双2D/3D编码器架构，采用四阶段的渐进式学习方法，提升医学图像理解能力。
  3. 在Perception-Bench上，RadSight在所有六个评估维度上均表现优异，特别是在空间定位和临床诊断方面有显著提升。

📝 摘要（中文）

医学多模态大语言模型（MLLMs）在复杂图像理解任务中日益受到关注，但其可靠性常因视觉解释错误而受到影响。为系统性追踪这些失败，本文引入了Perception-Bench，一个包含113万样本的大规模基准，评估MLLMs在属性判断、空间定位、空间理解、疾病预测、异常检测和报告生成等六个维度的表现。分析结果显示，现有模型在捕捉基本病变属性方面存在显著不足。为此，本文提出了RadSight，一个基于双2D/3D编码器架构的感知驱动MLLM，经过8.37百万感知导向语料的训练，RadSight在Perception-Bench上在所有评估维度上均优于现有模型，尤其在空间定位和临床诊断方面表现突出。

🔬 方法详解

问题定义：本文旨在解决医学多模态大语言模型在图像理解中的可靠性问题。现有方法在捕捉基本病变属性（如位置、大小和密度）方面存在明显不足，导致临床输出无法有效依赖于视觉证据。

核心思路：RadSight的核心思路是通过感知驱动的模型设计，结合双2D/3D编码器架构，保留原始影像的空间结构，从而提升模型的视觉感知能力。

技术框架：RadSight的整体架构包括四个主要阶段：视觉-语言对齐、细粒度视觉感知、临床诊断和诊断解释。模型通过渐进式课程学习进行训练，使用8.37百万的感知导向语料。

关键创新：RadSight的最大创新在于其双编码器架构和渐进式学习策略，使得模型在低级视觉感知上具备更强的能力，从而提升整体诊断的可靠性。这与现有方法的单一编码器设计形成鲜明对比。

关键设计：模型的关键设计包括对编码器的参数设置、损失函数的选择，以及如何有效整合2D和3D图像信息，以确保模型在不同维度上的表现均衡且优越。具体细节尚未公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Perception-Bench上，RadSight在所有六个评估维度上均优于现有的医学多模态大语言模型，特别是在空间定位和临床诊断方面的提升幅度显著，具体性能数据尚未公开。这表明，增强低级视觉感知能力是实现可靠临床理解的关键。

🎯 应用场景

RadSight的研究成果在医学影像分析、临床辅助诊断和医疗决策支持等领域具有广泛的应用潜力。通过提升模型的视觉理解能力，能够为医生提供更可靠的诊断支持，进而改善患者的治疗效果。未来，该技术还可能扩展到其他医疗领域，推动智能医疗的发展。

📄 摘要（原文）

Medical multimodal large language models (MLLMs) are increasingly expected to perform complex image understanding tasks, yet their reliability is often compromised by frequent errors in visual interpretation. To systematically trace these failures, we traverse the hierarchy from high-level clinical tasks down to fundamental visual perception. We therefore introduce Perception-Bench, a large-scale benchmark comprising 1.13 million samples that assesses medical MLLMs across six dimensions: attribute judgment, spatial grounding, spatial understanding, disease prediction, anomaly detection, and report generation, spanning both 2D and 3D radiology images. Our analysis on Perception-Bench reveals that existing MLLMs lack the ability to capture even the most basic lesion attributes, such as location, size, and density. This inability to ground clinical outputs in primary visual evidence reveals that the models' diagnostic unreliability is rooted in a critical but overlooked bottleneck in low-level visual perception. Motivated by this, we propose RadSight, a perception-driven MLLM built upon a dual 2D/3D encoder architecture that preserves native imaging spatial structures. RadSight formulates medical image understanding as a four-stage progressive process: visual-language alignment, fine-grained visual perception, clinical diagnosis, and diagnostic interpretation. The model is trained on an 8.37 million perception-oriented corpus using progressive curriculum learning. On Perception-Bench, RadSight consistently outperforms existing MLLMs across all six evaluation dimensions, with particularly strong gains in spatial grounding and clinical diagnosis. It also achieves consistent improvements on public 2D and 3D medical benchmarks, further demonstrating that robust low-level visual perception is a critical foundation for reliable clinical understanding. Code and model will be publicly available.