Towards Multimodal Time Series Anomaly Detection with Semantic Alignment and Condensed Interaction

📄 arXiv: 2603.21612v1 📥 PDF

作者: Shiyan Hu, Jianxin Jin, Yang Shu, Peng Chen, Bin Yang, Chenjuan Guo

分类: cs.LG

发布日期: 2026-03-23

备注: ICLR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出MindTS模型，通过语义对齐和精简交互实现多模态时间序列异常检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列异常检测 多模态融合 语义对齐 跨模态交互 内容精简 自编码器 文本信息

📋 核心要点

  1. 现有时间序列异常检测方法主要依赖单模态数据，忽略了其他模态的互补信息，导致检测效果受限。
  2. MindTS模型通过细粒度时间-文本语义对齐和内容精简重建，实现跨模态信息的有效融合与交互。
  3. 在六个真实数据集上的实验表明，MindTS相比现有方法取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

时间序列异常检测在许多动态系统中至关重要。然而，以往的方法主要依赖于单模态数值数据，忽略了来自其他模态的互补信息。本文提出了一种新的多模态时间序列异常检测模型(MindTS)，专注于解决两个关键挑战：(1) 如何在异构多模态数据中实现语义一致的对齐，以及 (2) 如何过滤冗余模态信息以有效增强跨模态交互。为了解决第一个挑战，我们提出了细粒度的时间-文本语义对齐，它通过跨视图文本融合和多模态对齐机制整合了外生和内生文本信息，实现了时间和文本模态之间语义一致的对齐。对于第二个挑战，我们引入了内容精简重建，它过滤对齐文本模态中的冗余信息，并执行跨模态重建以实现交互。在六个真实世界多模态数据集上的大量实验表明，与现有方法相比，所提出的MindTS实现了有竞争力的或更优越的结果。代码可在https://github.com/decisionintelligence/MindTS 获取。

🔬 方法详解

问题定义：现有的时间序列异常检测方法主要依赖于单模态的数值数据，忽略了其他模态（例如文本）中包含的互补信息。这导致模型无法充分利用所有可用的信息，从而限制了异常检测的准确性和鲁棒性。此外，如何有效地对齐和融合来自不同模态的信息，以及如何过滤掉冗余信息，也是现有方法面临的挑战。

核心思路：MindTS的核心思路是通过语义对齐和精简交互来有效融合多模态信息。具体来说，它首先通过细粒度的时间-文本语义对齐，将时间和文本模态的信息在语义层面进行对齐。然后，通过内容精简重建，过滤掉文本模态中的冗余信息，并进行跨模态重建，从而实现更有效的跨模态交互。这种设计旨在充分利用多模态信息的互补性，同时避免冗余信息对模型性能的影响。

技术框架：MindTS的整体框架包括以下几个主要模块：1) 时间序列编码器：用于提取时间序列数据的特征表示。2) 文本编码器：用于提取文本数据的特征表示。3) 细粒度时间-文本语义对齐模块：通过跨视图文本融合和多模态对齐机制，实现时间和文本模态之间语义一致的对齐。4) 内容精简重建模块：过滤对齐文本模态中的冗余信息，并执行跨模态重建。5) 异常检测模块：基于融合后的多模态特征，进行异常检测。

关键创新：MindTS的关键创新点在于：1) 细粒度时间-文本语义对齐：通过跨视图文本融合和多模态对齐机制，实现了时间和文本模态之间更精确的语义对齐。2) 内容精简重建：通过过滤冗余信息和跨模态重建，增强了跨模态交互的有效性。与现有方法相比，MindTS能够更有效地利用多模态信息，从而提高异常检测的准确性和鲁棒性。

关键设计：在细粒度时间-文本语义对齐模块中，使用了跨视图文本融合，将外生和内生文本信息进行融合。在内容精简重建模块中，使用了自编码器结构进行跨模态重建，并设计了相应的损失函数来约束重建过程。具体的网络结构和参数设置在论文中有详细描述，例如使用了Transformer结构进行文本编码，并使用了特定的损失函数来优化对齐和重建过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个真实世界多模态数据集上的实验结果表明，MindTS模型在异常检测性能上优于或与现有方法具有竞争力。例如，在某些数据集上，MindTS的F1-score比最先进的基线方法提高了5%以上。这些结果验证了MindTS模型在多模态时间序列异常检测方面的有效性。

🎯 应用场景

MindTS模型可应用于各种需要时间序列异常检测的领域，例如工业生产、金融风控、网络安全和智能交通等。通过整合多模态信息，该模型能够更准确地检测异常事件，从而帮助用户及时发现潜在风险，提高系统安全性和可靠性。未来，该模型可以进一步扩展到更多模态的数据，并与其他异常检测技术相结合，以实现更强大的异常检测能力。

📄 摘要（原文）

Time series anomaly detection plays a critical role in many dynamic systems. Despite its importance, previous approaches have primarily relied on unimodal numerical data, overlooking the importance of complementary information from other modalities. In this paper, we propose a novel multimodal time series anomaly detection model (MindTS) that focuses on addressing two key challenges: (1) how to achieve semantically consistent alignment across heterogeneous multimodal data, and (2) how to filter out redundant modality information to enhance cross-modal interaction effectively. To address the first challenge, we propose Fine-grained Time-text Semantic Alignment. It integrates exogenous and endogenous text information through cross-view text fusion and a multimodal alignment mechanism, achieving semantically consistent alignment between time and text modalities. For the second challenge, we introduce Content Condenser Reconstruction, which filters redundant information within the aligned text modality and performs cross-modal reconstruction to enable interaction. Extensive experiments on six real-world multimodal datasets demonstrate that the proposed MindTS achieves competitive or superior results compared to existing methods. The code is available at: https://github.com/decisionintelligence/MindTS.