A Strength-Monotonic Law for Domain Alignment in Frozen-Embedding Bioacoustic Classification

📄 arXiv: 2610.09737v1 📥 PDF

作者: Yucheng Gong, Rui Zhou, Binbin Zeng, Qiang Ren, Hongjin Hui

分类: eess.AS, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出强度单调法则以优化生物声学分类中的领域对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物声学 领域对齐 编码器强度 分布对齐 跨领域分类 机器学习 模型简化

📋 核心要点

  1. 现有方法在跨领域声学分类中面临泛化能力不足的问题，尤其是在未见领域的表现不佳。
  2. 论文提出了一种强度单调法则，强调编码器强度与分布对齐的关系，并提出简化的训练方案。
  3. 实验结果表明，简化方案在未见领域的准确率与复杂模型相近，且减少了训练复杂度。

📝 摘要（中文）

本研究探讨了在冻结基础模型嵌入下，分布对齐如何帮助跨声学领域的泛化能力。我们提出了一个强度单调法则：编码器在目标任务上的强度越强，其在未见领域的泛化越依赖于分布对齐（MMD）项，同时领域重平衡采样的影响也越大。通过对四个编码器家族和八个HuBERT层的实验，发现重平衡效应与编码器强度呈完全负相关，而MMD的好处在每个流中是单调的。我们提出的简化方案仅需一个MMD项，保持了与完整复合模型相近的性能。

🔬 方法详解

问题定义：本研究旨在解决在冻结基础模型嵌入下，跨声学领域分类的泛化能力不足的问题。现有方法在未见领域的准确性受到领域重平衡采样的负面影响。

核心思路：提出强度单调法则，指出编码器在目标任务上的强度越强，其泛化能力越依赖于分布对齐（MMD）项。通过简化训练方案，减少不必要的复杂性。

技术框架：整体架构包括一个冻结的Perch 2.0嵌入、一个轻量级探针、交叉熵损失、一个MMD项和输入增强。通过固定架构，仅改变表示强度来观察效果。

关键创新：最重要的创新在于提出了强度单调法则，明确了编码器强度与分布对齐的关系，提供了一个可操作的简化方案。

关键设计：关键参数包括MMD项的设置，损失函数采用交叉熵，网络结构保持冻结状态，确保训练过程中的稳定性和高效性。实验中通过多种编码器的比较，验证了设计的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，简化方案在未见领域的准确率为0.299±0.006，与完整复合模型的0.307±0.014相近，表明该方法在保持性能的同时显著降低了训练复杂度。重平衡效应与编码器强度呈完全负相关，验证了强度单调法则的有效性。

🎯 应用场景

该研究的潜在应用领域包括生物声学监测、生态研究以及物种识别等。通过优化声学分类模型的泛化能力，能够提高在实际环境中对未见物种的识别准确性，具有重要的生态保护和生物多样性监测价值。

📄 摘要（原文）

When does distribution alignment help a frozen foundation-model embedding generalize across acoustic domains? For cross-domain mosquito-species classification we report a strength-monotonic law: the stronger an encoder is on the target task, the more its unseen-domain generalization relies on a distribution-alignment (MMD) term, and the more it is harmed by domain-rebalanced sampling. Across four encoder families and a within-encoder HuBERT layer sweep (n=8), the rebalancing leg orders exactly with encoder strength (Spearman -1.000), while the MMD-benefit leg is monotonic within each stream and -0.857 pooled; fixing architecture and varying only representation strength flips the rebalancing effect from benefit to collapse. The law is actionable: a single MMD term is the sole lever on a strong encoder, so we reduce the field's default recipe to a frozen Perch 2.0 embedding, a lightweight probe, cross-entropy, one MMD, and input augmentation. The reduced recipe stays within seed noise of the full composite (BA_unseen 0.299+/-0.006 vs. 0.307+/-0.014). As boundary conditions of the same law, three community defaults (backbone fine-tuning, multi-modal fusion, and domain rebalancing) each hurt unseen-domain accuracy under a leave-domain protocol, shown with single-variable, multi-seed evidence. We present a mechanism and the recipe it explains, not a leaderboard entry.