When Does Text Inform? Benchmarking Information-Theoretic Metrics for Multimodal Time-Series Forecasting
作者: Emma Andrews, Gianmarco Mengaldo
分类: cs.AI, cs.IT
发布日期: 2026-09-10
💡 一句话要点
提出信息论指标基准以评估文本在多模态时间序列预测中的贡献
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态预测 时间序列分析 信息论 互信息估计 文本注释 数据基准 模型评估
📋 核心要点
- 现有的多模态预测模型缺乏有效的基准来评估文本注释的预测价值，导致难以判断其实际贡献。
- 本文提出了一种合成时间序列信号生成方法，结合三类文本注释，以评估六种互信息估计器的性能。
- 实验结果显示，所有六种估计器均能有效识别出最具信息量的注释，并在七个真实数据集上验证了其性能差异。
📝 摘要（中文）
多模态预测模型结合时间序列与文本注释，能够通过文本上下文提供更丰富的预测。然而，如何评估文本注释对预测的实际贡献是一个信息论问题。本文创建了一个合成时间序列信号，包含语义正确、错误和无关的注释，利用已知的真实信息内容评估六种互信息估计器（KSG、MINE、InfoNCE、CCA、PID和V-information）的有效性。结果表明，这些估计器能够识别出最具信息量的正确注释，并在不需要模型训练的情况下审计混合文本语料的质量。最后，本文为注释审计和融合选择提供了实用的实施规则。
🔬 方法详解
问题定义：本文旨在解决如何评估文本注释在多模态时间序列预测中的实际贡献这一问题。现有方法缺乏有效的基准，无法准确衡量文本信息的预测价值。
核心思路：通过创建合成时间序列信号并引入三类注释，本文提供了一种可控的方式来评估互信息估计器的性能，确保真实信息内容的准确性。
技术框架：整体流程包括合成时间序列信号、注释分类、互信息估计器的应用及性能评估。主要模块包括数据生成、注释审计和结果分析。
关键创新：本文的创新在于建立了一个基准数据集，能够系统性地评估不同互信息估计器的性能，并揭示其在弱信号下的局限性。
关键设计：在实验中，选择了六种互信息估计器，并通过控制实验设置确保了数据生成过程的可重复性和结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，六种互信息估计器均能有效识别出最具信息量的注释，且在七个真实数据集上验证了其性能差异。这些估计器在弱信号情况下的表现差异为未来的研究提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括金融市场预测、气候变化建模和医疗健康数据分析等。通过有效评估文本注释的贡献，能够提升多模态预测模型的性能，促进数据驱动决策的准确性和可靠性。
📄 摘要（原文）
Multimodal forecasting models that combine time series with text annotations promise richer prediction through textual context, but how do we know whether a text annotation meaningfully contributes to the forecasters prediction? This is an information-theoretic question, but to evaluate whether information-theoretic metrics can reliably measure the predictive value an annotation provides, a ground truth benchmark is needed, and none currently exist. We create a synthetic time series signal with annotations in three categories: semantically correct, incorrect, and irrelevant. Because the data generation process is fully controlled, ground-truth information content is known exactly, enabling principled evaluation of six complementary mutual information estimators (KSG, MINE, InfoNCE, CCA, PID and V-information). We show that all six estimators identify correct annotations as most informative, and are able to audit the quality of mixed text corpora, choosing the annotations that result in the best downstream forecasting results without the need for model training. Our benchmark identifies limitations of each estimator, and these are validated on seven real-world datasets, which show how estimator performance differs on weak signals. Finally, we establish practical rules for implementing these metrics for annotation auditing and fusion selection.