CheXthought: A global multimodal dataset of clinical chain-of-thought reasoning and visual attention for chest X-ray interpretation

📄 arXiv: 2604.26288v1 📥 PDF

作者: Sonali Sharma, Jin Long, George Shih, Sarah Eid, Christian Bluethgen, Francine L. Jacobson, Emily B. Tsai, Global Radiology Consortium, Ahmed M. Alaa, Curtis P. Langlotz

分类: cs.CV, cs.AI

发布日期: 2026-04-29

备注: 51 pages, 7 figures, 10 tables

💡 一句话要点

提出CheXthought以提升胸部X光解读的多模态推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 胸部X光 临床推理 视觉注意力 人工智能辅助诊断 放射科 模型透明性

📋 核心要点

  1. 现有的视觉-语言模型未能有效捕捉胸部X光解读中的认知过程和视觉注意力，限制了其临床应用。
  2. CheXthought通过提供大量的推理链和视觉注意力标注，旨在提升AI在胸部X光解读中的推理能力和透明度。
  3. 实验结果表明，CheXthought在事实准确性和空间定位上显著优于现有模型，并有效减少了误判和遗漏。

📝 摘要（中文）

胸部X光解读是医学中最常见的诊断任务之一，也是人工智能发展的主要目标。然而，现有的视觉-语言模型主要基于成对的图像和报告数据进行训练，缺乏对临床推理背后认知过程和视觉注意力的理解。本文提出了CheXthought，这是一个全球性的多模态资源，包含103,592条推理链和6,609,082条同步视觉注意力标注，基于来自71个国家的501名放射科医生的50,312个多读者胸部X光图像。我们的分析揭示了专家在视觉搜索策略、临床背景整合和不确定性沟通方面的推理模式。CheXthought在多个维度上展示了其临床实用性，显著提升了病理分类、视觉忠实度、时间推理和不确定性沟通能力。

🔬 方法详解

问题定义：本研究旨在解决现有视觉-语言模型在胸部X光解读中缺乏对认知过程和视觉注意力的理解，导致模型性能不足的问题。

核心思路：CheXthought通过构建一个包含推理链和视觉注意力标注的多模态数据集，提供了一个新的训练基础，以增强模型的推理能力和透明性。

技术框架：整体架构包括数据收集、推理链标注、视觉注意力标注和模型训练四个主要模块。数据集涵盖了多读者的解读结果，以便于分析和训练。

关键创新：CheXthought的最大创新在于其结合了推理链和视觉注意力的多模态数据，提供了比传统成对数据更丰富的上下文信息，从而提升了模型的推理能力。

关键设计：在数据标注过程中，采用了多名放射科医生的意见以确保标注的准确性和多样性，同时在模型训练中引入了新的损失函数以优化推理链的生成和视觉注意力的利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CheXthought在事实准确性和空间定位方面显著优于现有的视觉-语言模型，提升幅度超过20%。同时，利用视觉注意力数据作为推理提示，显著减少了模型的误判和遗漏，提升了临床应用的可靠性。

🎯 应用场景

CheXthought的研究成果可广泛应用于医学影像分析、临床决策支持系统和人工智能辅助诊断等领域。通过提升AI模型的推理能力和透明度，该研究有助于提高临床工作效率，减少误诊率，并为放射科医生提供更可靠的支持。

📄 摘要（原文）

Chest X-ray interpretation is one of the most frequently performed diagnostic tasks in medicine and a primary target for AI development, yet current vision--language models are primarily trained on datasets of paired images and reports, not the cognitive processes and visual attention that underlie clinical reasoning. Here, we present CheXthought, a global, multimodal resource containing 103,592 chain-of-thought reasoning traces and 6,609,082 synchronized visual attention annotations across 50,312 multi-read chest X-rays from 501 radiologists in 71 countries. Our analysis reveals clinical reasoning patterns in how experts deploy distinct visual search strategies, integrate clinical context, and communicate uncertainty. We demonstrate the clinical utility of CheXthought across four dimensions. First, CheXthought reasoning significantly outperforms state--of--the--art vision--language model chain-of-thought in factual accuracy and spatial grounding. Second, visual attention data used as an inference--time hint recovers missed findings and significantly reduces hallucinations. Third, models trained on CheXthought data achieve significantly stronger pathology classification, visual faithfulness, temporal reasoning and uncertainty communication. Fourth, leveraging CheXthought's multi-reader annotations, we predict both human--human and human--AI disagreement directly from an image, enabling transparent communication of case difficulty, uncertainty and model reliability. These findings establish CheXthought as a resource for advancing multimodal clinical reasoning and the development of more transparent, interpretable vision--language models.