Hierarchical Interpretable Multitask Audio Representation Learning: An Analysis of Event-Scene Relationships through the Information Bottleneck

📄 arXiv: 2610.21520v1 📥 PDF

作者: Claudia Montero-Ramírez, Alba Martínez-Serrano, Carmen Peláez-Moreno

分类: eess.AS, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出层次化可解释的多任务音频表示学习以解决声学场景分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 声学场景分类 音频标记 多任务学习 层次化表示 可解释性框架

📋 核心要点

  1. 现有的多头架构忽视了声音与声学场景之间的层次依赖关系，导致优化效率低下。
  2. 本文提出了一种层次化条件范式，通过中间事件概率直接预测场景类别，实现同步的双任务学习。
  3. 实验结果表明，层次化条件在分类性能上具有竞争力，并在特定设置下显著降低了条件熵和提高了互信息。

📝 摘要（中文）

联合声学场景分类（ASC）和音频标记（AT）模型传统上依赖于不受约束的多头架构，但这种设计忽视了声音与声学场景之间的自然层次依赖关系。本文研究了一种层次化（顺序）条件范式，直接从中间事件概率预测场景类别。通过在三种最先进的骨干网络（PaSST、PANNs和BEATs）上进行的大规模实证基准测试，我们展示了层次化条件在特定损失加权设置下（beta在[0.6, 0.9]之间）实现了竞争性的分类性能，同时改变了多任务优化动态。我们还提出了一种多视角可解释性框架，结合信息瓶颈、流形几何和形式概念分析（FCA），提供了对事件-场景关系的补充见解。

🔬 方法详解

问题定义：本文旨在解决现有多头架构在声学场景分类和音频标记任务中忽视层次依赖的问题，导致优化效率低下和性能不足。

核心思路：提出了一种层次化条件范式，通过中间事件概率直接预测声学场景类别，允许同步学习，从而提高多任务优化的效率和效果。

技术框架：整体架构包括三个主要模块：声学事件概率预测、声学场景分类和多任务损失加权。通过不同的损失加权设置（beta在[0.0, 1.0]之间）进行优化。

关键创新：最重要的技术创新在于引入层次化条件学习，使得ASC和AT任务能够同步进行，而不是依赖于传统的顺序解决方法，从而提升了模型的学习效率和性能。

关键设计：在实验中使用了三种骨干网络（PaSST、PANNs和BEATs），并通过调整损失加权参数beta，探索了不同设置下的优化效果，发现beta在[0.6, 0.9]时性能最佳。还结合了信息瓶颈和形式概念分析来增强可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，层次化条件学习在分类性能上优于传统多头基线，尤其在特定损失加权设置下，条件熵显著降低，互信息提高，潜在聚类可分性（Silhouette分数）也显著提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能音频分析、环境监测和人机交互等。通过改进的音频表示学习方法，可以在复杂的声学环境中实现更高效的场景识别和事件检测，具有重要的实际价值和未来影响。

📄 摘要（原文）

Joint Acoustic Scene Classification (ASC) and Audio Tagging (AT) models traditionally rely on unconstrained multihead architectures. However, this design ignores the natural hierarchical dependency between sounds and acoustic scenes. In this work, we investigate a hierarchical (sequential) conditioning paradigm that predicts scene categories directly from intermediate event probabilities. Through a large-scale empirical benchmark with 66 full training runs across three state-of-the-art backbones (PaSST, PANNs, and BEATs) and different loss-weighting settings (beta in [0.0, 1.0]), we show that hierarchical conditioning achieves competitive classification performance while altering multitask optimization dynamics. Unlike multihead baselines, which sequentially solve the easier ASC task before optimizing AT, the hierarchical architecture enables synchronized dual-task learning for specific loss-weighting settings (beta in [0.6, 0.9]). Furthermore, we propose a multi-perspective interpretability framework that combines an analysis of the information bottleneck, manifold geometry, and Formal Concept Analysis (FCA) on a Term-Frequency Inverse-Document-Frequency (TF-IDF) event representation, providing complementary insights into event-scene relationships. Our findings reveal that hierarchical conditioning systematically yields lower conditional entropy, higher mutual information, and superior latent cluster separability (higher Silhouette scores), establishing a more structured and semantically faithful intermediate feature space.