Protecting Bystander Privacy via Selective Hearing in Audio LLMs

📄 arXiv: 2512.06380v2 📥 PDF

作者: Xiao Zhan, Guangzhi Sun, Jose Such, Phil Woodland

分类: cs.SD, cs.AI

发布日期: 2025-12-06 (更新: 2025-12-13)

备注: Dataset: https://huggingface.co/datasets/BrianatCambridge/SelectiveHearingBench

💡 一句话要点

提出SH-Bench和BPFT，提升音频LLM在多说话人场景下的旁观者隐私保护能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频大语言模型 隐私保护 选择性听觉 多说话人分离 基准测试 微调 旁观者隐私

📋 核心要点

  1. 现有音频LLM在现实场景中易捕获旁观者语音，存在隐私泄露风险，缺乏有效评估和防御机制。
  2. 提出SH-Bench基准测试模型选择性听觉能力，并设计BPFT训练流程提升模型对旁观者语音的拒绝能力。
  3. 实验表明现有模型存在隐私泄露，BPFT能显著提升旁观者隐私保护能力，且不影响主要说话人理解。

📝 摘要（中文）

音频大语言模型（LLM）越来越多地部署在现实世界中，不可避免地会捕捉到附近无意旁观者的语音，从而引发隐私风险，而现有的基准和防御措施并未考虑到这一点。我们引入了SH-Bench，这是第一个旨在评估选择性听觉的基准：模型在拒绝处理或泄露关于偶然旁观者语音信息的同时，关注预期的主要说话者的能力。SH-Bench包含3,968个多说话人音频混合，包括真实和合成场景，并配有77k个多项选择题，用于在一般和选择性操作模式下探测模型。此外，我们提出了一种新的指标选择性效力（SE），用于捕捉多说话人理解和旁观者隐私保护。我们对最先进的开源和专有LLM的评估表明，存在大量的旁观者隐私泄露，强大的音频理解未能转化为对旁观者隐私的选择性保护。为了弥补这一差距，我们还提出了旁观者隐私微调（BPFT），这是一种新的训练流程，可以教导模型拒绝与旁观者相关的查询，而不会降低主要说话者的理解能力。我们表明，与没有BPFT的最佳音频LLM Gemini 2.5 Pro相比，BPFT产生了显著的收益，在选择性模式下实现了绝对高出47%的旁观者准确率，以及绝对高出16%的SE。SH-Bench和BPFT共同为测量和改进音频LLM中的旁观者隐私提供了第一个系统框架。

🔬 方法详解

问题定义：现有音频LLM在处理多说话人场景时，无法有效区分目标说话人和旁观者，导致旁观者的隐私信息被泄露。现有的评估方法和防御机制没有充分考虑到这种旁观者隐私泄露问题，缺乏专门的基准测试和有效的防御策略。

核心思路：核心思路是训练模型具备“选择性听觉”能力，即模型能够专注于理解目标说话人的语音，同时忽略或拒绝处理旁观者的语音信息。通过这种方式，可以有效降低模型泄露旁观者隐私的风险。

技术框架：该研究提出了一个完整的框架，包括：1) SH-Bench基准测试数据集，用于评估模型的选择性听觉能力；2) 选择性效力（SE）指标，用于量化模型在多说话人理解和旁观者隐私保护方面的综合性能；3) 旁观者隐私微调（BPFT）训练流程，用于提升模型的旁观者隐私保护能力。

关键创新：关键创新在于提出了SH-Bench基准和BPFT训练流程，这是首次针对音频LLM的旁观者隐私问题进行系统性的研究。SH-Bench提供了一个标准化的评估平台，而BPFT则提供了一种有效的训练方法，可以显著提升模型的隐私保护能力。与现有方法相比，该研究更加关注实际应用场景中的隐私问题，并提供了一种可行的解决方案。

关键设计：SH-Bench包含真实和合成的多说话人音频混合数据，并设计了多项选择题来评估模型在不同模式下的性能。BPFT训练流程通过引入特定的损失函数，鼓励模型拒绝与旁观者相关的查询，同时保持对目标说话人的理解能力。具体的损失函数和训练策略细节在论文中有详细描述，但此处未给出具体公式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有音频LLM存在严重的旁观者隐私泄露问题。通过BPFT训练，模型在选择性模式下的旁观者准确率提升了47%，选择性效力（SE）提升了16%，显著优于Gemini 2.5 Pro等现有模型，验证了BPFT在保护旁观者隐私方面的有效性。

🎯 应用场景

该研究成果可应用于智能助手、会议记录、语音转录等多种场景，提升用户隐私保护水平。通过选择性听觉，设备可以专注于授权用户的语音，避免泄露未经授权的旁观者信息。未来可进一步推广至其他语音处理系统，构建更安全的语音交互环境。

📄 摘要（原文）

Audio Large language models (LLMs) are increasingly deployed in the real world, where they inevitably capture speech from unintended nearby bystanders, raising privacy risks that existing benchmarks and defences did not consider. We introduce SH-Bench, the first benchmark designed to evaluate selective hearing: a model's ability to attend to an intended main speaker while refusing to process or reveal information about incidental bystander speech. SH-Bench contains 3,968 multi-speaker audio mixtures, including both real-world and synthetic scenarios, paired with 77k multiple-choice questions that probe models under general and selective operating modes. In addition, we propose Selective Efficacy (SE), a novel metric capturing both multi-speaker comprehension and bystander-privacy protection. Our evaluation of state-of-the-art open-source and proprietary LLMs reveals substantial bystander privacy leakage, with strong audio understanding failing to translate into selective protection of bystander privacy. To mitigate this gap, we also present Bystander Privacy Fine-Tuning (BPFT), a novel training pipeline that teaches models to refuse bystander-related queries without degrading main-speaker comprehension. We show that BPFT yields substantial gains, achieving an absolute 47% higher bystander accuracy under selective mode and an absolute 16% higher SE compared to Gemini 2.5 Pro, which is the best audio LLM without BPFT. Together, SH-Bench and BPFT provide the first systematic framework for measuring and improving bystander privacy in audio LLMs.