Multimodal Learning for Arcing Detection in Pantograph-Catenary Systems
作者: Hao Dong, Eleni Chatzi, Olga Fink
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-02-09
💡 一句话要点
提出MultiDeepSAD多模态学习框架，用于受电弓-接触网系统中电弧故障检测。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 电弧检测 受电弓-接触网系统 深度异常检测 伪异常生成
📋 核心要点
- 受电弓-接触网系统的电弧检测面临数据稀缺、环境噪声大和难以区分相似现象等挑战。
- 论文提出MultiDeepSAD多模态框架，融合图像和力数据，并设计伪异常生成技术增强模型判别力。
- 实验表明，该框架在真实电弧检测中显著优于基线方法，即使在域偏移和数据有限的情况下也有效。
📝 摘要（中文）
受电弓-接触网界面对于确保电气化铁路系统中不间断和可靠的电力传输至关重要。然而，该界面的电弧放电会带来严重的风险，包括接触部件的加速磨损、系统性能的降低以及潜在的服务中断。由于电弧事件的瞬态特性、嘈杂的运行环境、数据稀缺性以及难以将电弧与其他类似的瞬态现象区分开来，因此检测受电弓-接触网界面的电弧事件具有挑战性。为了应对这些挑战，我们提出了一种新颖的多模态框架，该框架结合了高分辨率图像数据和力测量数据，以更准确、更稳健地检测电弧事件。首先，我们构建了两个包含同步视觉和力测量的电弧检测数据集。一个数据集来自瑞士联邦铁路公司 (SBB) 提供的数据，另一个数据集来自公开可用的不同铁路系统中电弧事件的视频以及模拟真实数据集中观察到的特征的合成力数据。利用这些数据集，我们提出了 MultiDeepSAD，它是 DeepSAD 算法的扩展，适用于具有新损失公式的多种模态。此外，我们还针对每种数据类型引入了量身定制的伪异常生成技术，例如图像中的合成类电弧伪影和模拟力不规则性，以增强训练数据并提高模型的区分能力。通过广泛的实验和消融研究，我们证明了我们的框架明显优于基线方法，即使在域偏移和真实电弧观测可用性有限的情况下，也表现出对真实电弧事件的增强敏感性。
🔬 方法详解
问题定义：论文旨在解决受电弓-接触网系统中电弧检测的问题。现有方法难以有效应对电弧事件的瞬态特性、嘈杂环境和数据稀缺性，并且难以区分电弧与其他相似的瞬态现象，导致检测精度和鲁棒性不足。
核心思路：论文的核心思路是利用多模态信息融合，结合视觉图像和力测量数据，提高电弧检测的准确性和鲁棒性。通过同步分析两种模态的数据，可以更全面地捕捉电弧事件的特征，从而克服单一模态的局限性。此外，论文还通过伪异常生成技术来扩充训练数据，解决数据稀缺问题。
技术框架：该框架主要包含以下几个阶段：1) 数据采集：收集同步的视觉图像和力测量数据，构建电弧检测数据集。2) 数据预处理：对图像和力数据进行预处理，例如图像增强、噪声滤波等。3) 模型训练：使用MultiDeepSAD算法，结合伪异常生成技术，训练多模态电弧检测模型。4) 电弧检测：利用训练好的模型，对新的图像和力数据进行分析，判断是否存在电弧事件。
关键创新：论文的关键创新点在于：1) 提出了MultiDeepSAD算法，扩展了DeepSAD算法以适应多模态数据，并设计了新的损失函数。2) 提出了针对图像和力数据的伪异常生成技术，有效解决了数据稀缺问题，提高了模型的泛化能力。3) 构建了包含同步视觉和力测量的电弧检测数据集，为相关研究提供了数据基础。
关键设计：MultiDeepSAD算法的关键设计包括：1) 多模态特征提取：使用卷积神经网络提取图像特征，使用循环神经网络提取力数据特征。2) 联合嵌入：将图像和力特征映射到同一个嵌入空间，实现多模态特征融合。3) 新的损失函数：设计了新的损失函数，鼓励模型学习到电弧事件的共同特征，并区分正常和异常事件。4) 伪异常生成：针对图像数据，生成合成的类电弧伪影；针对力数据，模拟力不规则性，以扩充训练数据。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MultiDeepSAD框架在电弧检测任务中显著优于基线方法。即使在存在域偏移和真实电弧数据有限的情况下，该框架仍能保持较高的检测精度和鲁棒性。消融实验验证了多模态融合和伪异常生成技术的有效性，证明了该框架的优越性。
🎯 应用场景
该研究成果可应用于电气化铁路系统的智能运维，实现对受电弓-接触网电弧故障的早期预警和诊断，减少设备磨损，提高供电可靠性，降低维护成本，保障列车安全运行。未来可扩展到其他电力设备故障检测领域。
📄 摘要（原文）
The pantograph-catenary interface is essential for ensuring uninterrupted and reliable power delivery in electrified rail systems. However, electrical arcing at this interface poses serious risks, including accelerated wear of contact components, degraded system performance, and potential service disruptions. Detecting arcing events at the pantograph-catenary interface is challenging due to their transient nature, noisy operating environment, data scarcity, and the difficulty of distinguishing arcs from other similar transient phenomena. To address these challenges, we propose a novel multimodal framework that combines high-resolution image data with force measurements to more accurately and robustly detect arcing events. First, we construct two arcing detection datasets comprising synchronized visual and force measurements. One dataset is built from data provided by the Swiss Federal Railways (SBB), and the other is derived from publicly available videos of arcing events in different railway systems and synthetic force data that mimic the characteristics observed in the real dataset. Leveraging these datasets, we propose MultiDeepSAD, an extension of the DeepSAD algorithm for multiple modalities with a new loss formulation. Additionally, we introduce tailored pseudo-anomaly generation techniques specific to each data type, such as synthetic arc-like artifacts in images and simulated force irregularities, to augment training data and improve the discriminative ability of the model. Through extensive experiments and ablation studies, we demonstrate that our framework significantly outperforms baseline approaches, exhibiting enhanced sensitivity to real arcing events even under domain shifts and limited availability of real arcing observations.