Overcoming the Modality Gap in Context-Aided Forecasting
作者: Vincent Zhihao Zheng, Étienne Marcotte, Arjun Ashok, Andrew Robert Williams, Lijun Sun, Alexandre Drouin, Valentina Zantedeschi
分类: cs.LG
发布日期: 2026-03-12
💡 一句话要点
提出半合成数据增强方法，解决上下文辅助预测中模态鸿沟问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文辅助预测 时间序列预测 多模态学习 数据增强 半监督学习
📋 核心要点
- 现有上下文辅助预测模型在多模态融合方面表现不佳，无法有效利用上下文信息。
- 提出一种半合成数据增强方法，生成高质量且可验证的上下文，用于大规模数据集构建。
- 实验表明，使用半合成数据预训练的模型在真实世界数据集上表现良好，证明了上下文的有效利用。
📝 摘要（中文）
上下文辅助预测(CAF)有望整合领域知识和前瞻性信息，使AI系统超越传统统计方法。然而，最近的实证研究揭示了一个令人困惑的差距：多模态模型通常无法胜过其单模态模型。我们假设这种性能不佳源于现有数据集中较差的上下文质量，因为验证具有挑战性。为了解决这些限制，我们引入了一种半合成数据增强方法，该方法生成的上下文既描述了时间动态，又可验证地补充了数值历史。这种方法能够大规模创建数据集，从而产生了CAF-7M，一个包含700万个上下文增强时间序列窗口的语料库，包括一个经过严格验证的测试集。我们证明了半合成预训练可以有效地转移到真实世界的评估中，并显示了上下文利用的明显证据。我们的结果表明，数据集质量，而不是架构限制，一直是上下文辅助预测的主要瓶颈。
🔬 方法详解
问题定义：论文旨在解决上下文辅助预测(CAF)中，多模态模型性能不如单模态模型的问题。现有数据集的上下文质量不高，难以验证上下文信息的有效性，导致模型无法充分利用上下文信息进行预测。
核心思路：核心思路是通过半合成数据增强方法，生成高质量的上下文信息，构建大规模数据集。生成的上下文信息既能描述时间序列的动态变化，又能被验证其与数值历史的互补性。通过在大规模数据集上预训练模型，提高模型对上下文信息的利用能力。
技术框架：整体框架包括三个主要步骤：1) 定义时间序列的生成模型；2) 基于生成模型，生成数值历史和对应的上下文信息；3) 使用生成的数据进行模型预训练，并在真实数据集上进行微调和评估。
关键创新：关键创新在于半合成数据增强方法，该方法能够生成高质量且可验证的上下文信息。与以往方法相比，该方法能够保证生成的上下文信息与数值历史具有互补性，从而提高模型的预测性能。
关键设计：论文设计了一种基于规则和模板的上下文生成方法，确保生成的上下文信息具有一定的语义信息。同时，设计了一种验证机制，用于验证生成的上下文信息与数值历史的互补性。在模型训练方面，采用了对比学习的方法，鼓励模型学习数值历史和上下文信息之间的关联。
🖼️ 关键图片
📊 实验亮点
论文构建了包含700万个上下文增强时间序列窗口的CAF-7M数据集，并在该数据集上进行了实验。实验结果表明，使用半合成数据预训练的模型在真实世界数据集上取得了显著的性能提升，证明了上下文信息的有效利用。与现有方法相比，该方法能够更好地利用上下文信息，提高预测的准确性。
🎯 应用场景
该研究成果可应用于各种时间序列预测场景，例如金融预测、供应链管理、能源需求预测等。通过引入高质量的上下文信息，可以提高预测的准确性和可靠性，为决策提供更有力的支持。未来，可以将该方法推广到其他模态的数据，例如图像、文本等，实现更全面的上下文辅助预测。
📄 摘要（原文）
Context-aided forecasting (CAF) holds promise for integrating domain knowledge and forward-looking information, enabling AI systems to surpass traditional statistical methods. However, recent empirical studies reveal a puzzling gap: multimodal models often fail to outperform their unimodal counterparts. We hypothesize that this underperformance stems from poor context quality in existing datasets, as verification is challenging. To address these limitations, we introduce a semi-synthetic data augmentation method that generates contexts both descriptive of temporal dynamics and verifiably complementary to numerical histories. This approach enables massive-scale dataset creation, resulting in CAF-7M, a corpus of 7 million context-augmented time series windows, including a rigorously verified test set. We demonstrate that semi-synthetic pre-training transfers effectively to real-world evaluation, and show clear evidence of context utilization. Our results suggest that dataset quality, rather than architectural limitations, has been the primary bottleneck in context-aided forecasting.