TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction

📄 arXiv: 2609.24677v1 📥 PDF

作者: Jie Gong, Maowei Jiang, Zhiwei Liu, Yankai Chen, Guojun Xiong, Xue Liu, Min Peng, Qianqian Xie, Sophia Ananiadou

分类: cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出TimeLitmus以解决跨模态理解与解释可信度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态理解 时间序列预测 解释可信度 大型语言模型 金融预测 交通管理 反事实干预 对比实验

📋 核心要点

  1. 现有方法在跨模态理解中存在准确性与真实理解之间的差距，无法有效评估模型的真实能力。
  2. 论文提出TimeLitmus基准，通过结合自然预测与控制干预，系统性地评估模型的跨模态理解与解释可信度。
  3. 实验结果显示，十个模型在金融和交通领域的预测一致性低于预期，且人类标注者在诊断任务中表现优于LLMs。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地用于从数值时间序列历史和文本事件中进行预测。然而，仅凭准确性无法揭示正确答案是否有效整合了两种输入，或仅仅是由于事件极性、单模态先验或表面线索所致。我们引入了TimeLitmus，这是一个用于事件条件时间序列预测的跨模态理解和解释可信度的诊断基准。TimeLitmus包含4,856个评估记录，涵盖金融和交通领域，结合了自然预测与控制的反事实和对比干预、针对解释的可信度测试和系统的捷径控制。通过对十个代表性LLMs的评估，标准预测准确性显著高估了可靠的跨模态理解。

🔬 方法详解

问题定义：论文要解决的问题是现有大型语言模型在跨模态理解中的局限性，特别是在事件条件时间序列预测中，模型的预测准确性往往无法反映其真实的理解能力。现有方法未能有效区分模型的表面表现与深层理解。

核心思路：论文的核心思路是通过TimeLitmus基准，结合自然预测与控制干预，系统性地评估模型在跨模态理解和解释可信度方面的表现。通过设计反事实和对比干预，揭示模型的真实能力与局限。

技术框架：整体架构包括数据集构建、评估指标设计和实验验证三个主要模块。数据集包含金融和交通领域的4,856个评估记录，评估指标涵盖预测准确性、解释可信度和模型一致性。

关键创新：最重要的技术创新点在于引入了针对解释的可信度测试和系统的捷径控制，能够有效区分模型的表面理解与深层理解。这与现有方法的本质区别在于，强调了模型在不同条件下的表现一致性。

关键设计：在实验中，采用了多种控制参数设置和损失函数，确保模型在不同场景下的表现可控。同时，设计了针对性的评估任务，以验证模型在解释时的可信度和支持度。实验结果显示，模型在处理操控的时间因素时，表现出较低的行为支持度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，十个模型在金融领域的Hard Paired Contrast（HPC）配对正确率仅为19.2%，在交通领域为11.7%。此外，模型在解释时引用操控的时间因素超过90%，但行为支持度低于22%，表明模型的解释可信度存在显著差距。

🎯 应用场景

该研究的潜在应用领域包括金融预测、交通管理和其他需要跨模态数据整合的场景。通过提高模型的跨模态理解能力和解释可信度，TimeLitmus可以帮助开发更可靠的智能系统，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to make predictions from numerical time-series histories and textual events. Yet accuracy alone cannot reveal whether correct answers reflect effective integration of the two inputs or instead arise from event polarity, unimodal priors, or superficial cues. Likewise, plausible explanations may rationalize predictions without faithfully reflecting the evidence that drives model behavior. We introduce TimeLitmus, a diagnostic benchmark for cross-modal understanding and explanation faithfulness in event-conditioned time-series prediction. TimeLitmus contains 4,856 evaluation records across Finance and Traffic, combining natural prediction with controlled counterfactual and contrastive interventions, explanation-targeted faithfulness tests, and systematic shortcut controls. Across ten representative LLMs, standard prediction accuracy substantially overstates reliable cross-modal understanding: Hard Paired Contrast (HPC) pair correctness peaks at only 19.2% in Finance and 11.7% in Traffic, and all ten models show lower-than-expected consistency on Finance series-side controls. Models often recognize scenario relations explicitly yet fail to apply them during independent prediction. Explanation faithfulness shows a similar gap: in Traffic, most models cite the manipulated temporal factor in over 90% of cases, while behavioral support remains below 22%. Human annotators outperform LLMs on matched controlled and hard-pair diagnostics, confirming that these distinctions are recoverable from the inputs. Natural-only adaptation yields selective gains in evidence selection and input sensitivity, but not consistent gains in controlled or hard-pair behavior. The benchmark, evaluation suite, and supervised adaptation data will be released publicly.