Multichannel Audio Quality Assessment: Extending Pretrained Perceptual Models to Spatial Audio
作者: Gouthaman KV, Shiv Gehlot, Vishnu Raj, Lars Villemoes, Arijit Biswas
分类: cs.SD, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出多通道音频质量评估方法以解决空间音频评估问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 音频质量评估 空间音频 多通道音频 预训练模型 特征融合 感知模型 机器学习
📋 核心要点
- 现有的感知模型在多通道空间音频评估中存在局限性，无法直接应用于高通道数音频，导致评估准确性不足。
- 本文提出了两种新方法，通过潜在层次聚合和特征层次的FGAtt自适应融合空间组，以重用预训练的感知知识。
- 在五个5.1通道测试集上，FGAtt方法的整体性能优于其他方法，显示出显著的效果提升。
📝 摘要（中文）
准确的感知质量评估对于评估和优化空间音频至关重要，感知质量依赖于信号保真度和通道间的空间关系。然而，主观评估成本高昂，现有的感知模型通常仅针对有限的通道配置进行训练，无法直接应用于更高通道数的音频。本文探讨如何有效重用预训练的感知知识以适应多通道空间音频。通过对5.1通道音频的研究，提出了信号、预测、潜在和特征四个层次的多通道集成方法，并提出了两种学习方法：潜在层次的空间组表示聚合和特征层次的特征带组注意力（FGAtt），在感知处理前自适应融合空间组。在五个5.1通道测试集上，FGAtt表现出最佳的整体性能，验证了特征层次适应在重用预训练感知知识中的有效性。
🔬 方法详解
问题定义：本文旨在解决现有感知模型在多通道空间音频评估中的局限性，尤其是无法直接应用于高通道数音频的问题。现有方法在通道配置上受限，导致评估结果的准确性和可靠性不足。
核心思路：论文的核心思路是通过重用预训练的感知知识，采用多层次的集成方法来提升多通道音频的质量评估。具体而言，利用潜在层次的聚合和特征层次的自适应融合，以提高评估的准确性和效率。
技术框架：整体架构包括四个层次的集成：信号层、预测层、潜在层和特征层。FGAtt作为特征层的关键模块，负责在感知处理前自适应地融合不同的空间组表示。
关键创新：最重要的技术创新在于提出了FGAtt方法，该方法通过特征层次的自适应融合，显著提升了多通道音频的感知质量评估能力，与传统方法相比，能够更有效地利用预训练知识。
关键设计：在设计中，FGAtt采用了特征带组注意力机制，能够动态调整不同空间组的权重。此外，损失函数的设计也考虑了多通道音频的特性，以确保评估结果的准确性。
🖼️ 关键图片
📊 实验亮点
在五个5.1通道测试集上，FGAtt方法的整体性能表现最佳，相较于基线方法，性能提升显著，验证了特征层次适应的有效性，显示出在多通道音频质量评估中的应用潜力。
🎯 应用场景
该研究在多通道音频质量评估领域具有广泛的应用潜力，尤其是在虚拟现实、游戏音频和音乐制作等需要高质量空间音频的场景中。通过提升评估的准确性，可以有效优化音频处理和播放效果，增强用户体验。未来，该方法有望推广至更高维度的音频处理和评估任务中。
📄 摘要（原文）
Accurate perceptual quality assessment is essential for evaluating and optimizing spatial audio, where perceived quality depends on both signal fidelity and inter-channel spatial relationships. However, subjective evaluation is costly, while existing perceptual models are often trained for limited channel configurations and cannot be directly applied to higher-channel-count audio. This raises the question: how can pretrained perceptual knowledge be effectively reused for multichannel spatial audio? Using 5.1-channel audio, we study four levels of multichannel integration: signal, prediction, latent, and feature and propose two learned approaches: latent-level aggregation of spatial-group representations and the feature-level Feature-Band Group Attention (FGAtt), which adaptively fuses spatial groups at the feature level before perceptual processing. Across five 5.1-channel test sets, FGAtt achieves the strongest over- all performance, demonstrating the effectiveness of feature-level adaptation for reusing pretrained perceptual knowledge