ECHO: Environmental Sound Classification with Hierarchical Ontology-guided Semi-Supervised Learning

📄 arXiv: 2409.14043v1 📥 PDF

作者: Pranav Gupta, Raunak Sharma, Rashmi Kumari, Sri Krishna Aditya, Shwetank Choudhary, Sumit Kumar, Kanchana M, Thilagavathy R

分类: cs.SD, cs.CV, eess.AS

发布日期: 2024-09-21

备注: IEEE CONECCT 2024, Signal Processing and Pattern Recognition, Environmental Sound Classification, ESC

DOI: 10.1109/CONECCT62155.2024.10677303

💡 一句话要点

ECHO：利用层级本体引导的半监督学习进行环境声音分类

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境声音分类 半监督学习 层级本体 预训练任务 大型语言模型

📋 核心要点

  1. 现有环境声音分类方法依赖大量标注或未标注数据，成本高昂且泛化性受限。
  2. ECHO利用标签本体层级结构，设计预训练任务，学习声音的语义表示，降低对大量数据的依赖。
  3. 实验表明，ECHO在多个数据集上显著提升了环境声音分类的准确率，验证了其有效性。

📝 摘要（中文）

环境声音分类是信号处理领域一个被广泛研究的问题，目前的研究主要集中在全监督方法上。近年来，研究重点转向半监督方法（利用未标记数据）和自监督方法（通过预训练任务或对比学习学习中间表示）。然而，这两种方法都需要大量的未标记数据来提高性能。本文提出了一种名为ECHO（Environmental Sound Classification with Hierarchical Ontology-guided semi-supervised Learning）的新框架，该框架利用基于标签本体的层级结构，通过定义一种新的预训练任务来学习语义表示。在该预训练任务中，模型尝试基于ground truth标签本体预测由大型语言模型（LLM）定义的粗粒度标签。训练后的模型进一步以监督方式进行微调，以预测实际任务。我们提出的新型半监督框架在UrbanSound8K、ESC-10和ESC-50三个数据集上，相对于基线系统实现了1%到8%的准确率提升。

🔬 方法详解

问题定义：环境声音分类旨在识别音频片段中的环境声音类别。现有方法，如全监督学习，需要大量标注数据，成本高昂。半监督和自监督方法虽然能利用未标注数据，但仍依赖大量数据才能获得良好性能。这些方法忽略了环境声音类别之间的层级关系，导致模型学习到的表示缺乏语义信息。

核心思路：ECHO的核心思路是利用环境声音类别的层级本体结构，通过预训练任务让模型学习类别之间的语义关系。具体来说，利用大型语言模型（LLM）根据ground truth标签本体定义粗粒度标签，并设计一个预训练任务，让模型预测这些粗粒度标签。这样，模型就能学习到类别之间的层级关系，从而提高分类性能。

技术框架：ECHO框架包含两个主要阶段：预训练阶段和微调阶段。在预训练阶段，模型接收音频数据，并预测由LLM生成的粗粒度标签。预训练任务的目标是最小化预测粗粒度标签和真实粗粒度标签之间的差异。在微调阶段，使用标注数据对预训练模型进行微调，以预测实际的环境声音类别。微调阶段的目标是最小化预测类别和真实类别之间的差异。

关键创新：ECHO的关键创新在于利用标签本体层级结构指导半监督学习。通过定义一个基于粗粒度标签预测的预训练任务，模型能够学习到类别之间的语义关系，从而提高分类性能。与传统的半监督和自监督方法相比，ECHO不需要大量的未标注数据，也能获得良好的性能。

关键设计：ECHO的关键设计包括：1) 使用大型语言模型（LLM）生成粗粒度标签；2) 设计基于粗粒度标签预测的预训练任务；3) 使用标注数据对预训练模型进行微调。具体的网络结构和损失函数选择取决于具体的应用场景和数据集。论文中使用了常见的音频特征提取方法和分类模型，并针对预训练任务设计了相应的损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ECHO在UrbanSound8K、ESC-10和ESC-50三个数据集上进行了评估，实验结果表明，ECHO相对于基线系统实现了1%到8%的准确率提升。这表明ECHO能够有效地利用标签本体层级结构来提高环境声音分类的性能。尤其是在数据量较少的情况下，ECHO的优势更加明显。

🎯 应用场景

ECHO可应用于智能家居、智慧城市、安防监控等领域。例如，智能家居可以通过识别环境声音来判断用户行为，从而提供个性化服务。智慧城市可以通过分析城市环境声音来监测异常事件，提高城市管理效率。安防监控系统可以通过识别异常声音来及时发现安全隐患，保障社会安全。ECHO的半监督特性使其在数据标注成本高昂的场景下具有重要应用价值。

📄 摘要（原文）

Environment Sound Classification has been a well-studied research problem in the field of signal processing and up till now more focus has been laid on fully supervised approaches. Over the last few years, focus has moved towards semi-supervised methods which concentrate on the utilization of unlabeled data, and self-supervised methods which learn the intermediate representation through pretext task or contrastive learning. However, both approaches require a vast amount of unlabelled data to improve performance. In this work, we propose a novel framework called Environmental Sound Classification with Hierarchical Ontology-guided semi-supervised Learning (ECHO) that utilizes label ontology-based hierarchy to learn semantic representation by defining a novel pretext task. In the pretext task, the model tries to predict coarse labels defined by the Large Language Model (LLM) based on ground truth label ontology. The trained model is further fine-tuned in a supervised way to predict the actual task. Our proposed novel semi-supervised framework achieves an accuracy improvement in the range of 1\% to 8\% over baseline systems across three datasets namely UrbanSound8K, ESC-10, and ESC-50.