ViSTA: A Simple Bridge Extends Visual Alignment to Clinical Time-Series Understanding in Multimodal LLMs

📄 arXiv: 2609.31448v1 📥 PDF

作者: Junyi Gao, Yu Shi, Pingzhao Hu, Ewen M Harrison

分类: cs.CL, cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出ViSTA以解决临床时间序列理解中的视觉对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床预测 多模态学习 视觉-语言模型 时间序列分析 急性肾损伤 模型适配器 风险评估

📋 核心要点

  1. 现有的临床预测模型在处理高维时间序列数据时，无法充分利用语言模型的能力，导致预测准确性不足。
  2. ViSTA通过引入一个紧凑的适配器，将不规则数值测量整合到预训练的视觉-语言模型中，从而提升模型的预测能力。
  3. 在MIMIC-IV数据集上，ViSTA在急性肾损伤预测中表现优异，取得了0.7376的ROC曲线下面积，且可训练参数显著减少。

📝 摘要（中文）

临床预测模型通过患者测量数据估计风险，而大型语言模型则支持医学文本理解和问答。然而，语言能力并不保证从结构化、高维临床时间序列中进行准确预测。为此，本文提出ViSTA，一个紧凑的适配器，将不规则的数值测量纳入预训练的视觉-语言模型的图表表示中。ViSTA在MIMIC-IV数据集上表现出色，在急性肾损伤和死亡率预测的四个指标上均取得了最高的平均分。该模型在仅有0.516百万可训练参数的情况下，达到了0.7376的ROC曲线下面积，展示了其在数值预测和时间问题上的扩展能力。

🔬 方法详解

问题定义：本文旨在解决现有临床预测模型在处理高维、结构化时间序列数据时的不足，尤其是如何将语言模型的能力有效应用于数值预测中。现有方法在这一领域的表现不尽如人意，无法准确反映患者的动态状态。

核心思路：ViSTA的核心思路是通过一个紧凑的适配器，将不规则的数值测量整合到预训练的视觉-语言模型的图表表示中。这种设计允许模型在不改变预训练参数的情况下，学习对视觉标记的修正，从而提升预测准确性。

技术框架：ViSTA的整体架构包括一个适配器模块，该模块与预训练的视觉-语言模型相结合，处理输入的临床时间序列数据。模型首先提取图表表示，然后通过适配器进行调整，以适应不规则的数值输入。

关键创新：ViSTA的主要创新在于其紧凑的适配器设计，使得模型能够在保持预训练参数不变的情况下，进行有效的数值预测和时间问题回答。这一方法与传统的低秩适配方法相比，显著提高了效率和准确性。

关键设计：ViSTA使用了仅0.516百万的可训练参数，采用了特定的损失函数来优化视觉标记的修正。此外，模型在训练过程中针对时间问答进行了优化，确保在不同参数规模下均能保持较高的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ViSTA在MIMIC-IV数据集上取得了显著的实验结果，急性肾损伤预测的ROC曲线下面积达到了0.7376，接近GPT-5.6 Sol的0.7380，且在可训练参数上减少了90%以上。此外，ViSTA在时间问答任务中也表现出色，达到了69.27%的准确率，显示出其在临床应用中的优势。

🎯 应用场景

ViSTA的研究成果在临床医学领域具有广泛的应用潜力，特别是在患者风险评估和动态监测方面。通过提升对临床时间序列数据的理解能力，ViSTA能够帮助医生更好地评估患者的健康状况，并做出及时的医疗决策。未来，该技术还可以扩展到其他多模态数据分析领域，推动智能医疗的发展。

📄 摘要（原文）

Clinical prediction models estimate risk from patient measurements, while large language models support medical text understanding and question answering. Yet their language capabilities do not ensure accurate prediction from structured, high-dimensional clinical time series. Improving this ability would connect risk estimation with flexible questions about a patient's evolving condition. We introduce ViSTA, a compact adapter that incorporates irregular numerical measurements into a pretrained vision-language model's chart representations. It learns corrections to visual tokens while leaving all pretrained parameters unchanged. On MIMIC-IV, ViSTA has the highest mean scores among the compared adaptations on all four metrics for acute kidney injury and mortality prediction across models with 2-9 billion parameters. With 0.516 million trainable parameters, the 2-billion-parameter model reaches an area under the ROC curve of 0.7376 for acute kidney injury, compared with GPT-5.6 Sol's 0.7380 with text input and high reasoning effort. Training for temporal question answering yields 69.27% accuracy at 4 billion parameters with over 90% fewer trainable parameters than low-rank adaptation using charts or numerical text, at a 2.82-4.88 percentage-point accuracy gap. ViSTA extends pretrained language models to numerical prediction and temporal questions.