Backdooring Acoustic Foundation Models for Physically Realizable Triggers

📄 arXiv: 2610.09819v1 📥 PDF

作者: Zebin Yun, Eyal Ronen, Mahmood Sharif

分类: cs.SD, cs.LG

发布日期: 2026-10-07

备注: Accepted at RAID 2026

💡 一句话要点

提出FAB攻击以解决声学基础模型的安全隐患问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声学基础模型 后门攻击 安全性 触发器设计 模型评估 防御机制

📋 核心要点

  1. 现有声学基础模型在安全性方面的研究较为匮乏，容易受到后门攻击的威胁。
  2. 本文提出FAB攻击，利用物理可实现的隐蔽触发器，在不依赖预训练数据的情况下实现后门攻击。
  3. 实验表明，FAB攻击在多种下游任务中表现出显著的性能下降，且能够有效绕过现有防御机制。

📝 摘要（中文）

声学基础模型（AFMs）已使声学应用民主化，能够以最小资源实现从语音识别到说话人验证等多种任务。然而，基于AFMs的应用安全性仍然未得到充分探讨。本文提出了基础声学模型后门（FAB）攻击，展示了当前最先进的AFMs在实际环境下对后门攻击的脆弱性。尽管对攻击者能力的假设较少（如无预训练数据访问），我们证明FAB在保持良好性能的同时，诱导出可在微调后存活的后门，并在激活时导致多种下游任务的显著性能下降。FAB利用任务无关、物理可实现、隐蔽且无同步要求的触发器（如背景警报声）。我们使用两种领先的AFMs、九个下游任务和四种不同的触发器评估FAB，并进一步展示其在已建立防御下的有效性，以及在数字和物理领域的表现。尽管广泛的端到端微调可以缓解FAB，但这种防御是资源密集型且任务特定的。我们的研究强调了AFMs的关键风险，并呼吁开发更先进的防御措施。

🔬 方法详解

问题定义：本文旨在解决声学基础模型（AFMs）在安全性方面的脆弱性，现有方法未能有效防范后门攻击，导致应用安全隐患。

核心思路：提出基础声学模型后门（FAB）攻击，设计物理可实现且隐蔽的触发器，使得攻击者在不需要预训练数据的情况下，能够诱导AFMs产生后门。

技术框架：FAB攻击的整体流程包括触发器的设计、后门的诱导以及在多种下游任务中的评估。主要模块包括触发器生成、后门注入和性能评估。

关键创新：FAB攻击的创新在于其使用的触发器是任务无关且物理可实现的，这与传统的后门攻击方法显著不同，后者通常依赖于特定任务或数据集。

关键设计：FAB攻击的设计包括选择隐蔽的触发器（如背景警报声），并确保其在激活后能够有效影响AFMs的输出，同时保持模型的正常性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，FAB攻击在多种下游任务中能够导致性能下降超过30%，并且在使用四种不同触发器时均表现出一致的有效性。此外，FAB攻击能够有效绕过现有的防御机制，显示出其在实际应用中的威胁性。

🎯 应用场景

该研究的潜在应用领域包括语音识别、说话人验证及其他声学应用。FAB攻击的发现提醒开发者在设计声学模型时需考虑安全性，未来可能推动更强大的防御机制的研发，以保护声学应用的安全性和可靠性。

📄 摘要（原文）

Acoustic foundation models (AFMs) have democratized acoustic applications, enabling powerful models for tasks ranging from speech recognition to speaker verification with minimal resources. However, the security of applications based on AFMs remains largely underexplored. Our work addresses this gap by proposing the Foundation Acoustic model Backdoor (FAB) attack, demonstrating that state-of-the-art AFMs are susceptible to backdooring under practical settings. Despite making minimal assumptions about adversary capabilities (e.g., no access to pre-training data), we show that FAB preserves benign performance while inducing backdoors that survive fine-tuning and cause significant degradation across diverse downstream tasks when activated. Notably, FAB utilizes task-agnostic, physically realizable, inconspicuous, and sync-free triggers (e.g., a background siren). We evaluate FAB using two leading AFMs, nine downstream tasks, and four different triggers. We further demonstrate its effectiveness against established defenses and across both digital and physical domains. While extensive end-to-end fine-tuning can mitigate FAB, such a defense is resource-intensive and task-specific. Our work highlights critical risks to AFMs and calls for advanced defenses.