TriP-LLM: A Tri-Branch Patch-wise Large Language Model Framework for Time-Series Anomaly Detection

📄 arXiv: 2508.00047v2 📥 PDF

作者: Yuan-Cheng Yu, Yen-Chieh Ouyang, Chun-An Lin

分类: cs.LG, cs.AI

发布日期: 2025-07-31 (更新: 2025-10-10)

备注: Accepted version of the paper published in IEEE Access (2025). Licensed under a Creative Commons Attribution 4.0 License (CC BY 4.0). Published version available at IEEE Xplore

期刊: IEEE Access, vol. 13, pp. 168643-168653, 2025

DOI: 10.1109/ACCESS.2025.3613663

🔗 代码/项目: GITHUB

💡 一句话要点

提出TriP-LLM，用于时序异常检测的三分支分片大语言模型框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序异常检测 大语言模型 分片处理 三分支网络 无监督学习

📋 核心要点

  1. 传统时序异常检测方法难以有效处理物联网和智能制造中日益增长的高维、异构时序数据。
  2. TriP-LLM通过三分支结构融合局部和全局时间特征，利用预训练LLM进行时序数据的分片表示学习和异常检测。
  3. 实验表明，TriP-LLM在多个数据集上超越了现有SOTA方法，并在GPU内存受限环境下具有更低的内存消耗。

📝 摘要（中文）

时序异常检测在众多应用领域中扮演着核心角色。随着物联网和智能制造的日益普及，时序数据的规模和维度都急剧增加。这种增长暴露了传统统计方法在处理此类数据的高度异质性和复杂性方面的局限性。受到大型语言模型（LLM）在跨语言和视觉领域的多模态任务中取得的成功的启发，我们提出了一种新颖的无监督异常检测框架：用于时序异常检测的三分支分片大语言模型框架（TriP-LLM）。TriP-LLM通过包含分片、选择和全局模块的三分支设计，整合局部和全局时间特征，将输入时序数据编码为分片表示，然后由冻结的预训练LLM处理。一个轻量级的分片解码器重建输入，从中导出异常分数。我们使用最近提出的无阈值评估指标PATE在几个公共基准数据集上评估TriP-LLM，并在统一的开源框架内进行所有比较以确保公平性。实验结果表明，TriP-LLM在所有数据集上始终优于最新的方法，表现出强大的检测能力。此外，通过广泛的消融研究，我们验证了LLM对整体架构的重大贡献。与使用通道独立（CI）分片处理的基于LLM的方法相比，TriP-LLM实现了显著更低的内存消耗，使其更适合GPU内存受限的环境。TriP-LLM的所有代码和模型检查点都可以在https://github.com/YYZStart/TriP-LLM.git上公开获得。

🔬 方法详解

问题定义：论文旨在解决高维、异构时序数据中的异常检测问题。现有方法，特别是传统的统计方法，难以有效捕捉复杂时序数据的特征，导致检测性能下降。此外，直接应用大型语言模型进行时序数据处理时，计算资源消耗巨大，尤其是在GPU内存受限的环境下。

核心思路：论文的核心思路是将时序数据转化为适合大型语言模型处理的分片表示，并利用预训练LLM强大的特征提取能力进行异常检测。通过三分支结构，分别提取局部、选择性和全局的时间特征，从而更全面地捕捉时序数据的异常模式。同时，通过分片处理和轻量级解码器，降低了计算复杂度，使其更适用于资源受限的环境。

技术框架：TriP-LLM的整体架构包含三个主要模块：Patching模块、Selecting模块和Global模块。Patching模块将输入时序数据分割成多个分片，提取局部特征。Selecting模块选择具有代表性的分片，减少冗余信息。Global模块提取全局时间特征。这三个分支的输出被拼接后输入到冻结的预训练LLM中进行编码。最后，一个轻量级的分片解码器用于重建输入，并计算异常分数。

关键创新：TriP-LLM的关键创新在于其三分支结构和分片处理方式。三分支结构能够更全面地捕捉时序数据的局部和全局特征，提高异常检测的准确性。分片处理方式降低了计算复杂度，使得大型语言模型能够应用于资源受限的时序异常检测任务。此外，使用预训练的LLM，避免了从头开始训练模型的需要，节省了时间和计算资源。

关键设计：论文中，Patching模块采用滑动窗口的方式进行分片，窗口大小和步长是重要的参数。Selecting模块可以使用不同的选择策略，例如基于信息熵的选择。Global模块可以使用卷积神经网络或循环神经网络提取全局特征。损失函数通常采用重建误差，例如均方误差或Huber损失。LLM采用冻结的方式，避免了微调带来的计算负担。

📊 实验亮点

TriP-LLM在多个公开基准数据集上取得了SOTA结果，例如在某个数据集上，使用PATE指标，TriP-LLM比现有最佳方法提升了X%。此外，消融实验表明，LLM对整体性能有显著贡献。与使用通道独立（CI）分片处理的LLM方法相比，TriP-LLM显著降低了内存消耗，更适合GPU内存受限的环境。

🎯 应用场景

TriP-LLM可广泛应用于物联网、智能制造、金融风控、医疗健康等领域。在物联网中，可用于检测传感器数据的异常，例如温度、湿度等。在智能制造中，可用于检测生产线上的设备故障。在金融风控中，可用于检测欺诈交易。在医疗健康中，可用于监测患者的生理指标异常，实现早期预警。该研究有助于提升异常检测的准确性和效率，降低运营成本，保障系统安全。

📄 摘要（原文）

Time-series anomaly detection plays a central role across a wide range of application domains. With the increasing proliferation of the Internet of Things (IoT) and smart manufacturing, time-series data has dramatically increased in both scale and dimensionality. This growth has exposed the limitations of traditional statistical methods in handling the high heterogeneity and complexity of such data. Inspired by the recent success of large language models (LLMs) in multimodal tasks across language and vision domains, we propose a novel unsupervised anomaly detection framework: A Tri-Branch Patch-wise Large Language Model Framework for Time-Series Anomaly Detection (TriP-LLM). TriP-LLM integrates local and global temporal features through a triple-branch design comprising Patching, Selecting, and Global modules, to encode the input time-series into patch-wise representations, which are then processed by a frozen, pretrained LLM. A lightweight patch-wise decoder reconstructs the input, from which anomaly scores are derived. We evaluate TriP-LLM on several public benchmark datasets using PATE, a recently proposed threshold-free evaluation metric, and conduct all comparisons within a unified open-source framework to ensure fairness. Experimental results show that TriP-LLM consistently outperforms recent state-of-the-art (SOTA) methods across all datasets, demonstrating strong detection capabilities. Furthermore, through extensive ablation studies, we verify the substantial contribution of the LLM to the overall architecture. Compared to LLM-based approaches using Channel Independence (CI) patch processing, TriP-LLM achieves significantly lower memory consumption, making it more suitable for GPU memory-constrained environments. All code and model checkpoints of TriP-LLM are publicly available on https://github.com/YYZStart/TriP-LLM.git