Revisiting Identity and Spectra Dispersion in Media-Bridged Time Series Forecasting: Linking Multivariate Signals and Narrative Flows

📄 arXiv: 2610.11924v1 📥 PDF

作者: Jierui Lei, Wenjian Zhang, Qingyi Yang, Yuyang Hong, Fangzheng Chen, Zhengbo Zhang, Haina Tang, Shiming Xiang

分类: cs.CV, cs.LG

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出MIDAPN以解决多模态时间序列预测中的身份与谱散问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多模态学习 图神经网络 谱卷积 身份感知 自动时间学习 模型评估

📋 核心要点

  1. 现有的时间序列预测模型在处理多模态数据时面临范式特定的关系和融合模块的限制，导致预测效果不佳。
  2. 提出的MIDAPN通过多媒体身份感知图和谱棱镜卷积，提供了一种统一的时空预测框架，能够有效处理多模态信号。
  3. 在对比16种最先进的时间序列预测模型的实验中，MIDAPN在多变量和多模态数据集上表现出一致的优越性，验证了其广泛的兼容性。

📝 摘要（中文）

媒体桥接的时间序列预测正在扩展到传统的多变量和新兴的多模态（例如，通过文本辅助）。现有的时间序列预测模型仍依赖于特定范式的关系、融合和时间模块，阻碍了在数值和预对齐叙事流设置之间建立通用的预测基础。为此，本文提出了多媒体身份感知棱镜网络（MIDAPN），这是一个基于媒体通用图适应和自动时间学习的统一时空预测基础。通过对媒体的预对齐，我们的多媒体身份感知图（MIDAG）重新审视身份，诱导跨媒体的变量特定依赖关系。我们开发了谱棱镜卷积（SPConv）以自动执行分层时间分析，平衡粗趋势和细节。综合评估显示MIDAPN在多变量和多模态数据集上的一致优越性。

🔬 方法详解

问题定义：本文旨在解决现有时间序列预测模型在处理多模态数据时的局限性，特别是范式特定的关系和融合模块导致的预测性能不足。

核心思路：MIDAPN通过引入多媒体身份感知图（MIDAG）和谱棱镜卷积（SPConv），实现了对多模态信号的统一时空建模，能够有效捕捉不同媒体之间的依赖关系。

技术框架：MIDAPN的整体架构包括两个主要模块：多媒体身份感知图（MIDAG）用于身份重访和依赖关系建模，谱棱镜卷积（SPConv）用于自动化的分层时间分析。

关键创新：MIDAPN的核心创新在于其媒体通用图适应和自动时间学习机制，能够有效解耦媒体身份和时间尺度不匹配的问题，与现有方法相比具有显著的优势。

关键设计：在设计上，MIDAG通过静态本质、动态行为和潜在共性来诱导跨媒体的依赖关系；SPConv则通过自适应搜索引导配置了一个高效的时间维度重构架构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在综合评估中，MIDAPN在13个多变量和12个多模态数据集上超越了16种最先进的时间序列预测模型，展示了其在长时间上下文比较中相较于14个时间序列基础模型和融合预训练语言模型的一致优越性，验证了其广泛的兼容性。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象数据分析和社交媒体趋势预测等。通过提供一种统一的预测框架，MIDAPN能够在多模态数据环境中实现更高的预测精度，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Media-bridged time series forecasting is expanding to encompass traditional "multivariate" and emerging "multimodal" (e.g., through textual assistance). Existing Time Series Forecasting (TSF) models still rely on paradigm-specific relation, fusion, and temporal modules, hindering a common forecasting backbone across numerical and pre-aligned narrative-flow settings. To explore this, we propose the Multimedia Identity-Aware Prism Network (MIDAPN), a unified spatiotemporal forecasting backbone based on media-general graph adaptation and automatic temporal learning: (1) Following media pre-alignment, our Multimedia Identity-Aware Graph (MIDAG) revisits identity through static essence, dynamic behavior, and latent commonality, inducing affinities that extend variable-specific dependencies across media. Contextual Identity Modulation (CIM) further refines discriminative aggregation. (2) We develop Spectral Prism Convolution (SPConv) to automatically perform hierarchical temporal analysis, balancing coarse trends and fine-grained details. Meanwhile, its Adaptive Search Guidance configures a scale-efficient architecture for temporal-dimension reconstruction. These decoupled yet synergistic components jointly address media identity disentanglement and temporal-scale mismatch. Comprehensive evaluations involving 16 SOTA TSF models across 13 "multivariate" and 12 "multimodal" datasets, alongside targeted long-context comparisons against 14 time series foundation models and fused pretrained language models, demonstrate MIDAPN's consistent superiority and broad shared backbone compatibility. The code is available at \href{https://github.com/leijieruilq/MIDAPN/tree/main}{https://github.com/MIDAPN}.