MMTClinic: Multimodal, Multilingual Time Series Question Answering and Reasoning Benchmark for Clinical Domain

📄 arXiv: 2609.04842v1 📥 PDF

作者: Sourav Malakar, Harshit Nigam, Akash Ghosh, Sriparna Saha, Amlan Chakrabarti, Saptarsi Goswami, Priti Singh

分类: cs.CL, cs.AI

发布日期: 2026-09-04

💡 一句话要点

提出MMTClinic以解决临床领域多模态多语言时间序列问答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态 多语言 时间序列 临床推理 问答系统 医疗AI 数据集

📋 核心要点

  1. 现有医疗AI系统缺乏多模态、多语言和时间序列基准，限制了其在临床应用中的有效性。
  2. MMTClinic基准通过结合文本、医学图像和生理信号，提供了一个多语言的问答评估平台。
  3. 在对13种语言模型的评估中，发现模型在不同任务和语言间的表现差异，揭示了临床推理的局限性。

📝 摘要（中文）

临床环境中的时间序列数据对于捕捉患者健康动态变化至关重要，有助于及时诊断、个性化治疗和早期发现关键事件。然而，开发可靠且语言包容的医疗AI系统仍面临重大挑战，主要由于缺乏反映真实临床场景复杂性的多模态、多语言和时间序列基准。为填补这一空白，本文提出了MMTClinic基准，旨在评估大型语言模型在涉及临床时间序列的复杂推理和问答任务中的表现。MMTClinic结合文本、医学图像和多变量生理信号，包含30000个问答对，涵盖五种语言。我们评估了13种最先进的语言模型，发现模型在任务、语言和模态间的表现存在显著差异，突显了当前临床推理能力的局限性。

🔬 方法详解

问题定义：本文旨在解决临床领域中缺乏多模态、多语言和时间序列问答基准的问题。现有方法无法有效反映真实临床场景的复杂性，限制了医疗AI系统的应用。

核心思路：MMTClinic基准通过整合文本、医学图像和多变量生理信号，创建了一个涵盖多种语言的问答数据集，以评估大型语言模型在复杂推理任务中的表现。

技术框架：整体架构包括数据收集、问答对生成、模型评估等主要模块。数据集包含30000个问答对，涵盖死亡率预测、心率预测和SOFA评分估计等临床任务。

关键创新：MMTClinic的创新点在于其多模态和多语言的设计，能够更全面地评估模型在临床推理中的能力，与现有单一模态或单一语言的基准相比，提供了更丰富的评估维度。

关键设计：数据集中的问题设计包括15000个选择题和15000个开放式问题，涵盖五种语言，模型评估采用零-shot、few-shot和思维链设置，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对13种最先进的语言模型的评估中，MMTClinic揭示了模型在不同任务和语言间的显著性能差异，特别是在死亡率预测和心率预测任务中，部分模型的表现提升幅度达到20%以上。这些结果突显了当前模型在临床推理能力上的局限性。

🎯 应用场景

该研究的潜在应用领域包括临床决策支持系统、个性化医疗和健康监测等。通过提供一个多模态、多语言的问答基准，MMTClinic能够促进医疗AI研究的发展，提高临床推理的准确性和效率，最终改善患者的健康结果。

📄 摘要（原文）

Time-series data in clinical settings is crucial for capturing dynamic changes in a patient's health over time, enabling timely diagnosis, personalized treatment, and early detection of critical events. However, the development of clinically reliable and linguistically inclusive medical AI systems remains a significant challenge, primarily due to the lack of multimodal, multilingual, and time-series-grounded benchmarks that reflect the complexity of real-world clinical scenarios. To fill this gap, we present MMTClinic, a benchmark designed to evaluate large language models (LLMs) on complex reasoning and question-answering tasks involving clinical time-series. MMTClinic combines text, medical images, and multivariate physiological signals and includes 30,000 QA pairs (15,000 multiple choice questions (MCQs) and 15,000 open-ended questions) across five languages: English, Hindi, Bengali, Marathi, and Tamil. These questions cover three important clinical tasks---mortality prediction, heart rate forecasting, and SOFA score estimation. We evaluate 13 state-of-the-art LLMs in zero-shot, few-shot, and chain-of-thought settings. Our evaluation reveals notable differences in model performance across tasks, languages, and modalities, highlighting current limitations in clinical reasoning capabilities. MMTClinic provides a valuable resource for advancing multilingual, multimodal, and time-series-aware medical AI research. The dataset will be made publicly available on successful acceptance of the work.