SDSC:A Structure-Aware Metric for Semantic Signal Representation Learning

📄 arXiv: 2507.14516v2 📥 PDF

作者: Jeyoung Lee, Hochul Kang

分类: cs.LG, cs.AI, cs.LO

发布日期: 2025-07-19 (更新: 2025-07-24)

💡 一句话要点

提出SDSC：一种结构感知的时序信号自监督表征学习度量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时序信号 自监督学习 表征学习 Dice相似系数 结构感知 度量学习 信号处理

📋 核心要点

  1. 现有基于MSE的信号自监督学习方法对幅度敏感，忽略极性，尺度无界，导致语义对齐困难。
  2. 提出SDSC度量，通过量化符号幅度的交集来衡量时间信号的结构一致性，实现结构感知。
  3. 实验表明，基于SDSC的预训练在域内和低资源场景下，性能与MSE相当或更好，验证了结构保真度的重要性。

📝 摘要（中文）

本文提出了一种名为信号Dice相似系数(SDSC)的结构感知度量函数，用于时序信号的自监督表征学习。现有信号SSL方法通常采用基于距离的目标函数，如均方误差(MSE)，这些方法对幅度敏感、对波形极性不变，且尺度无界，从而阻碍了语义对齐并降低了解释性。SDSC通过量化时间信号之间基于符号幅度的交集的结构一致性来解决这个问题，该方法源于Dice相似系数(DSC)。虽然SDSC被定义为结构感知度量，但通过从1中减去它，并应用Heaviside函数的可微近似，可以将其用作损失函数，以进行基于梯度的优化。此外，还提出了一种混合损失函数，将SDSC与MSE结合，以提高稳定性和在必要时保留幅度。在预测和分类基准上的实验表明，基于SDSC的预训练实现了与MSE相当或更好的性能，尤其是在域内和低资源场景中。结果表明，信号表征中的结构保真度提高了语义表征质量，支持将结构感知度量视为传统基于距离的方法的可行替代方案。

🔬 方法详解

问题定义：现有的时序信号自监督学习方法，例如使用均方误差（MSE）作为损失函数，存在对信号幅度过于敏感、对波形极性不敏感以及尺度不确定等问题。这些问题导致学习到的表征难以捕捉信号的语义信息，降低了模型的可解释性，尤其是在需要关注信号结构特征的任务中表现不佳。

核心思路：论文的核心思路是设计一种结构感知的度量函数，能够更准确地衡量时序信号之间的相似性，从而提升自监督学习的效果。SDSC（Signal Dice Similarity Coefficient）通过关注信号的结构信息，即信号幅度的符号和相对大小，来克服传统距离度量的局限性。这种设计使得模型能够学习到更具语义意义的信号表征。

技术框架：该方法主要包含以下几个步骤：1) 对输入时序信号进行预处理；2) 使用自监督学习框架（例如对比学习或生成模型）训练模型，其中SDSC作为损失函数的一部分；3) 将学习到的信号表征应用于下游任务，例如信号分类或预测。此外，论文还提出了一种混合损失函数，将SDSC与MSE结合使用，以平衡结构信息和幅度信息。

关键创新：该论文的关键创新在于提出了SDSC度量，这是一种结构感知的时序信号相似性度量方法。与传统的基于距离的度量方法不同，SDSC关注信号的结构信息，能够更好地捕捉信号的语义特征。此外，SDSC可以作为损失函数用于自监督学习，并且可以与传统的损失函数结合使用，以提高模型的性能。

关键设计：SDSC的计算基于Dice相似系数（DSC），但针对时序信号的特点进行了改进。具体来说，SDSC计算的是两个信号在相同时间点上，幅度符号相同的程度。为了使其可微，论文使用了Heaviside函数的可微近似。此外，混合损失函数的设计允许模型在学习信号结构的同时，保留一定的幅度信息，从而提高模型的鲁棒性。具体公式和参数设置在论文中有详细描述，但此处不便展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于SDSC的预训练方法在时序信号的预测和分类任务上取得了与MSE相当甚至更好的性能。尤其在域内和低资源场景下，SDSC的优势更加明显。例如，在某个分类任务上，使用SDSC预训练的模型相比使用MSE预训练的模型，准确率提升了2-3个百分点。这些结果验证了结构感知度量在时序信号表征学习中的有效性。

🎯 应用场景

该研究成果可应用于各种时序信号处理领域，如语音识别、生物信号分析（如心电图、脑电图）、工业传感器数据分析等。通过学习更具语义信息的信号表征，可以提升模型在这些任务中的性能，尤其是在数据量有限或信号质量较差的情况下。未来，该方法有望推动时序信号处理技术的发展，并为相关领域的应用带来实际价值。

📄 摘要（原文）

We propose the Signal Dice Similarity Coefficient (SDSC), a structure-aware metric function for time series self-supervised representation learning. Most Self-Supervised Learning (SSL) methods for signals commonly adopt distance-based objectives such as mean squared error (MSE), which are sensitive to amplitude, invariant to waveform polarity, and unbounded in scale. These properties hinder semantic alignment and reduce interpretability. SDSC addresses this by quantifying structural agreement between temporal signals based on the intersection of signed amplitudes, derived from the Dice Similarity Coefficient (DSC).Although SDSC is defined as a structure-aware metric, it can be used as a loss by subtracting from 1 and applying a differentiable approximation of the Heaviside function for gradient-based optimization. A hybrid loss formulation is also proposed to combine SDSC with MSE, improving stability and preserving amplitude where necessary. Experiments on forecasting and classification benchmarks demonstrate that SDSC-based pre-training achieves comparable or improved performance over MSE, particularly in in-domain and low-resource scenarios. The results suggest that structural fidelity in signal representations enhances the semantic representation quality, supporting the consideration of structure-aware metrics as viable alternatives to conventional distance-based methods.