MiCLA: Mixture-to-Constituent Latent Alignment for Polyphonic Audio Representation Learning

📄 arXiv: 2610.27491v1 📥 PDF

作者: Kohei Yamamoto, Kosuke Okusa

分类: cs.SD, cs.LG, stat.ML

发布日期: 2026-10-20

备注: 13 pages, 3 figures

💡 一句话要点

提出MiCLA以解决多音频表示学习中的混合-成分关系建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音频表示学习 自监督学习 混合音频 对比学习 双向对齐 音频事件检测 深度学习

📋 核心要点

  1. 现有自监督音频表示学习方法未能有效建模音频混合与其成分之间的关系，导致性能不足。
  2. 提出的MiCLA框架通过合成混合音频来对齐混合表示与成分片段，采用双阶段自监督预训练策略。
  3. 在多个数据集上，MiCLA显著提升了音频表示学习的性能，尤其在同时检索成分类别方面表现优异。

📝 摘要（中文）

现实世界中的音频通常包含多个同时发生的声音事件，而标准的自监督方法将每个音频片段视为孤立的训练单元，未能明确建模混合与成分之间的关系。本文提出了混合-成分潜在对齐（MiCLA）框架，采用合成的对数梅尔混合来对齐混合表示与其成分片段。该框架分为两个阶段：第一阶段通过掩蔽自蒸馏和对比正则化构建单片段表示；第二阶段引入双向对齐，抑制与某一成分对齐的组件，并将残差与另一成分对齐。实验结果表明，MiCLA在AS-20K和AS-2M数据集上分别达到了43.2%和50.3%的平均精度，且在冻结的Convex Gated Probing设置下，表现优于其他模型。

🔬 方法详解

问题定义：本文旨在解决现有自监督音频表示学习方法未能有效建模混合音频与其成分之间关系的问题。现有方法通常将每个音频片段视为独立的训练单元，忽视了音频混合的复杂性。

核心思路：MiCLA框架通过合成的对数梅尔混合音频来对齐混合表示与其成分片段，采用双阶段的自监督预训练策略，旨在增强音频表示的上下文理解能力。

技术框架：MiCLA分为两个主要阶段：第一阶段通过掩蔽自蒸馏和对比正则化构建单片段表示；第二阶段则引入双向对齐机制，抑制与某一成分对齐的组件，并将残差与另一成分对齐。

关键创新：MiCLA的主要创新在于其双向对齐机制，通过项目残差化和样本自适应软残差化技术，显著提升了混合音频的表示能力，与传统方法相比，提供了更有效的预训练信号。

关键设计：在设计中，采用了掩蔽自蒸馏策略以增强单片段表示的鲁棒性，同时在双向对齐阶段使用了项目残差化和样本自适应软残差化，以实现更精确的成分对齐。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，MiCLA在AS-20K和AS-2M数据集上分别达到了43.2%和50.3%的平均精度，且在冻结的Convex Gated Probing设置下，表现优于其他模型，显示出其在音频表示学习中的显著优势。此外，MiCLA在同时检索成分类别的能力上也超过了目标平均基线。

🎯 应用场景

该研究的潜在应用领域包括音频事件检测、音乐信息检索和语音识别等。通过提高多音频表示学习的效果，MiCLA能够在复杂音频环境中实现更准确的声音分类和检索，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Real-world audio typically contains concurrent sound events, yet standard self-supervised methods treat each clip as an isolated training unit without explicitly modeling mixture--constituent relationships. We propose Mixture-to-Constituent Latent Alignment (MiCLA), a two-stage self-supervised pre-training framework that uses synthetic log-mel mixing to align mixture representations with their constituent clips. Stage 1 structures single-clip representations via masked self-distillation and contrastive regularization. Stage 2 introduces bidirectional alignment: for a synthetic mixture, MiCLA suppresses the component aligned with one constituent and aligns the residual with the other, using projective residualization on patch tokens and sample-adaptive soft residualization on the global class token. In downstream evaluations, MiCLA achieves 43.2% mean average precision (mAP) on AS-20K and 50.3% mAP on AS-2M under fine-tuning, and achieves the highest mAP among evaluated models on both AudioSet settings under frozen Convex Gated Probing (CGP). Furthermore, a Joint Semantic Retrieval diagnostic shows that MiCLA improves simultaneous retrieval of both constituent classes over target-averaging baselines. These results indicate that directional mixture-to-constituent alignment provides an effective pre-training signal for polyphonic audio representation learning.