From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
作者: Liwei Lin, Gus Xia
分类: cs.SD, cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出基于多视角自编码器对齐的音乐概念发现方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音乐可解释性 稀疏自编码器 结构化关系 音高移调 多视角对齐 音乐模型 概念发现
📋 核心要点
- 现有的可解释性方法往往侧重于孤立特征的识别，难以捕捉音乐中的结构化关系。
- 本文提出通过音高移调作为归纳偏置，使用多视角自编码器对齐来发现音乐概念的有序结构。
- 实验结果显示，该方法能够有效恢复和弦、调性等结构，且对比现有方法具有更高的解释能力。
📝 摘要（中文）
如何理解音乐基础模型内部学习的内容？现有的可解释性方法，如探测和稀疏自编码器，主要集中在识别孤立特征上。我们认为许多概念更适合作为结构化关系来理解，尤其是在音乐中，音调结构在音高和时间的空间中组织。本文提出了一种框架，通过音高移调作为归纳偏置，利用多视角自编码器对齐来诱导有序轨道。实验结果表明，该方法能够恢复与和弦、调性和旋律模式对应的轨道结构，仅需少量锚点示例即可解释整个概念家族。
🔬 方法详解
问题定义：本文旨在解决现有音乐模型可解释性不足的问题，现有方法主要关注孤立特征，无法有效捕捉音乐中的结构化关系。
核心思路：通过引入音高移调作为归纳偏置，利用多视角自编码器对齐的方式，识别和组织音乐特征的结构化关系。
技术框架：整体架构包括生成音高移调输入对、对齐其自编码器表示，并通过这些对来发现与音高相关的特征组。
关键创新：该研究的创新点在于从特征识别转向结构化分析，强调音乐概念的有序关系，而非孤立特征。
关键设计：在技术细节上，采用了多视角自编码器对齐方法，设置了音高移调的参数，并使用了最小化对齐损失的策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法成功恢复了与和弦、调性和旋律模式对应的轨道结构，且在两个先进的音乐基础模型上表现优异。相比于传统方法，该方法在解释能力上有显著提升，仅需少量锚点示例即可实现全面的概念解释。
🎯 应用场景
该研究的潜在应用领域包括音乐生成、音乐推荐系统以及音乐教育等。通过更好地理解音乐概念的结构，能够提升模型的可解释性和实用性，推动音乐相关技术的发展。
📄 摘要（原文）
How can we understand what a music foundation model has learned \textit{internally}? Most interpretability approaches, such as probing and Sparse Autoencoders (SAEs), focus on identifying individual features with minimal structural assumptions. We argue that many concepts are better understood as \textit{structured relations} rather than isolated features. This is especially prominent in music, where tonal structures are organized in the space of pitch and time. For example, concepts such as chords or keys are naturally expressed as structured sets (e.g., the 12 transpositions of a chord or the diatonic system within a key), rather than isolated features. In this study, \textbf{we shift from feature identification to structure-based analysis}, asking whether the learned inner representations of music foundation model emerge as organized structures over features. To this end, we introduce a framework that uses pitch transposition as an inductive bias to induce ordered orbits via multi-view SAE alignment. Concretely, we generate pitch-shifted input pairs and align their SAE representations to discover structured groups of pitch-related features. Experimental results show that this approach recovers orbit structures corresponding to chords, keys, and melodic patterns across two state-of-the-art music foundation models, while requiring only minimal grounding (e.g., a few anchor examples) to interpret entire concept families.