VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

📄 arXiv: 2607.14510v1 📥 PDF

作者: Haiteng Wang, Jingheng Yan, Xiaokang Wang, Lei Ren

分类: cs.AI

发布日期: 2026-07-16

备注: 18 pages, 13 figures, and 13 tables, including supplementary material. Haiteng Wang and Jingheng Yan contributed equally to this work

💡 一句话要点

提出VLT模型以解决工业时间序列多模态建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 时间序列分析 频谱表示 工业智能 健康管理 深度学习 模型优化

📋 核心要点

  1. 现有方法通常局限于单一模态建模，难以应对复杂的工业时间序列数据，限制了其泛化能力。
  2. 本文提出VLT模型，通过频谱作为视觉桥梁，联合建模时间序列、频谱视觉和文本知识，提升多模态学习效果。
  3. 在多个工业数据集上进行的实验表明，VLT模型在少样本、噪声和不完整模态设置下表现优越，超越了现有最先进的方法。

📝 摘要（中文）

工业时间序列是预测与健康管理（PHM）的基础，确保工业设备如航空发动机的可靠性与安全性。然而，现有方法通常局限于单一模态建模，限制了其在复杂场景中的泛化能力。为此，本文提出VLT，一个多模态基础模型，联合建模时间序列、频谱视觉表示和文本知识。关键在于利用频谱作为视觉桥梁，将连续时间信号与离散语义连接。通过设计时间感知混合专家（Time-MoE）捕捉异构时间动态，以及频谱-文本增强学习器实现光谱与语义特征的联合建模，进一步引入以时间为中心的梯度对齐机制，缓解跨模态优化冲突。大量实验表明，VLT在多个工业数据集上超越了现有最先进的方法，展现出在少样本、噪声和不完整模态设置下的优越鲁棒性与泛化能力。

🔬 方法详解

问题定义：本文旨在解决工业时间序列数据的多模态建模问题，现有方法多为单一模态，难以有效处理复杂场景中的数据融合与分析。

核心思路：VLT模型的核心思路是利用频谱作为视觉桥梁，连接连续的时间信号与离散的文本语义，从而实现多模态的联合建模。

技术框架：VLT模型包括三个主要模块：时间感知混合专家（Time-MoE）用于捕捉异构时间动态，频谱-文本增强学习器用于联合建模光谱与语义特征，以及时间中心的梯度对齐机制以缓解跨模态优化冲突。

关键创新：VLT的关键创新在于引入频谱作为连接时间序列与文本的桥梁，并通过时间感知混合专家和梯度对齐机制提升模型的鲁棒性与泛化能力。

关键设计：模型中采用了动态重加权机制和梯度归一化策略，以确保在不同模态间的优化过程能够有效协调，提升整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个工业数据集上的实验结果显示，VLT模型在少样本、噪声和不完整模态设置下的鲁棒性显著提升，超越了现有最先进的方法，具体性能提升幅度达到XX%（具体数据未知），展示了其在复杂场景下的优越性。

🎯 应用场景

VLT模型在工业智能领域具有广泛的应用潜力，特别是在预测与健康管理（PHM）方面。通过有效整合时间序列数据与文本信息，该模型能够提升设备故障预测的准确性与可靠性，进而保障工业设备的安全运行。未来，VLT还可扩展至其他多模态学习场景，如智能制造、智能监控等领域，推动工业智能化进程。

📄 摘要（原文）

Industrial time series serve as the foundation for Prognostics and Health Management (PHM) to ensure the reliability and safety of industrial equipment such as aero-engines. However, existing approaches are typically limited to single-modality modeling, which restricts their generalization in complex scenarios. Although recent advances in large language models (LLMs) provide new opportunities for multimodal learning, bridging continuous time-series signals and discrete textual semantics remains an open challenge. To this end, we propose VLT, a multimodal foundation model that jointly models time-series, frequency-spectrum visual representations, and textual knowledge. A key insight is to utilize the frequency spectrum as a visual bridge to connect continuous temporal signals with discrete semantics. Specifically, a Time-aware Mixture-of-Experts (Time-MoE) is designed to capture heterogeneous temporal dynamics, while a Frequency-Text Augmented Learner enables joint modeling of spectral and semantic features within a shared representation space. Furthermore, a time-centric gradient alignment mechanism is introduced to mitigate cross-modal optimization conflicts via gradient normalization and reliability-aware dynamic reweighting. Extensive experiments on multiple industrial datasets demonstrate that VLT outperforms state-of-the-art methods, achieving superior robustness and generalization under few-shot, noisy, and incomplete-modality settings.