Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

📄 arXiv: 2607.22458v1 📥 PDF

作者: Víctor Rincón Yepes

分类: cs.LG, cs.AI

发布日期: 2026-07-24

备注: 17 pages, 5 figures, 2 supplementary tables. Code, embeddings and derived matrices: https://github.com/rinvictor/bioacoustic-phylogeny-embeddings

💡 一句话要点

利用音频基础模型揭示海洋哺乳动物与鸟类的系统发育信号

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频模型 系统发育信号 深度学习 生物声学 生态监测 进化生物学 模型评估

📋 核心要点

  1. 现有音频模型在特定领域的预训练并未必能提升其在系统发育分析中的表现。
  2. 论文通过分析多个大型预训练音频模型，探讨其在未见过任务中的表现，揭示其潜在的进化信息捕捉能力。
  3. 实验结果显示，通用模型在捕捉系统发育信号方面表现优于领域特定模型，且相关性显著高于传统特征提取方法。

📝 摘要（中文）

本研究探讨了四种大型预训练音频模型（AST、CLAP、BEATs-bio和BirdNET）在未见过的下游任务中，是否能够从物种的声音中恢复系统发育距离。通过对32种海洋哺乳动物和20种鸟类的分析，发现这些模型能够有效捕捉到系统发育信号，且与传统的手工特征相比，表现出更高的相关性。研究表明，预训练的音频嵌入能够跨越不同的演化辐射传递进化信息，而领域特定的预训练并非必要。

🔬 方法详解

问题定义：本研究旨在探讨音频模型是否能够在未见过的任务中有效捕捉系统发育信号。现有方法主要依赖手工特征，未能充分利用深度学习模型的潜力。

核心思路：通过对四种大型预训练音频模型进行分析，研究其在恢复物种声音的系统发育距离方面的能力，验证其是否能够捕捉到深层次的进化信息。

技术框架：研究包括两个主要阶段：首先，使用Mantel测试分析32种海洋哺乳动物的声音数据；其次，分析20种鸟类的声音数据，比较不同模型的表现。

关键创新：本研究的创新在于揭示了通用音频模型在捕捉系统发育信号方面的有效性，挑战了领域特定预训练的必要性。

关键设计：在实验中，使用Mantel测试评估模型的系统发育信号，控制了主频率的影响，并通过PCA降维验证结果的稳健性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在32种海洋哺乳动物中，CLAP、BEATs-bio和AST模型的系统发育信号相关性均超过0.74，且均显著（p<0.001）。在20种鸟类中，通用模型的相关性达到0.55和0.52，而领域特定模型BirdNET的相关性仅在0.32到0.36之间，表明通用模型在捕捉系统发育信号方面的优势。

🎯 应用场景

该研究的发现对生物声学、生态学和进化生物学等领域具有重要意义。通过利用音频模型捕捉系统发育信号，可以为物种分类、生态监测和保护生物多样性提供新的工具和方法，推动相关研究的发展。

📄 摘要（原文）

Do learned audio embeddings encode structure that nobody told them to encode? We probe four large pretrained audio models (AST, CLAP, BEATs-bio and BirdNET) with a downstream task none of them saw during training: recovering phylogenetic distance from species vocalizations. If the geometry of the embedding space tracks the tree of life, the representation is picking up something deeper than the labels the model was optimized for. We run Mantel tests across two independent radiations. In 32 marine mammal species (1,754 recordings from the Watkins Marine Mammal Sound Database) the foundation models recover strong phylogenetic signal within the 26 cetaceans (CLAP r=0.82, BEATs-bio r=0.82, AST r=0.74; all p<0.001), among the highest acoustic-phylogenetic correlations reported for any taxon. Hand-crafted MFCC features (105d) find nothing (r=0.040, p=0.338). The gap survives after PCA-projecting every embedding down to 105 dimensions, so it is not an artefact of representation size. It also survives a partial Mantel test controlling for dominant frequency (partial Mantel r=0.404, keeping 97% of the variance explained), so it is not just pitch in disguise. We repeat the analysis on 20 bird species using the Jetz et al. (2012) phylogeny, and this time add BirdNET, a classifier trained end-to-end on around 6,000 bird species. The general-purpose foundation models recover the signal again (AST r=0.55, CLAP r=0.52). The unexpected result is that neither BirdNET nor the bioacoustic BEATs-bio beat them (r around 0.32 to 0.36). Matching the training domain to the target taxon does not, by itself, help. Pretrained audio embeddings carry evolutionary information across two independent radiations, and domain-specific pretraining is not required for it to emerge.