Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models

📄 arXiv: 2609.27378v1 📥 PDF

作者: Kian Shamsaie, Iman Modarressi

分类: cs.SD, cs.AI, cs.CL, cs.HC

发布日期: 2026-09-23

备注: Accepted to IEEE SLT 2026

💡 一句话要点

提出心理声学对齐的潜在平滑方法以增强全双工语音对话模型的对抗鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 对抗鲁棒性 全双工对话 心理声学 潜在平滑 语音处理

📋 核心要点

  1. 现有的全双工语音对话模型在面对对抗性攻击时，容易受到语义劫持和响应抑制等问题的影响。
  2. 本文提出了一种新的心理声学对齐的潜在平滑方法，通过注入特定形状的噪声来增强模型的鲁棒性。
  3. 实验结果表明，PALS显著降低了对抗攻击成功率，劫持率从91.7%降至8.3%，显示出良好的防御效果。

📝 摘要（中文）

全双工语音对话模型在听和说的同时，面临着对抗性攻击的风险。本文将对全双工代理的不可察觉攻击形式化为在载体语音的心理声学掩蔽阈值下的加性扰动优化，目标包括语义劫持、响应抑制和策略越狱。针对未防御的Moshi风格代理，白盒攻击成功率高达91.7%。我们提出了心理声学对齐的潜在平滑（PALS），通过在残差向量量化的潜在接口注入由局部代码本协方差形状的各向异性高斯噪声，输入噪声则由掩蔽阈值约束攻击者，并通过Kullback-Leibler一致性目标进行训练。PALS在不增加推理时间成本的情况下，将劫持率降低至8.3%，静音率降低至11.2%，越狱率降低至9.1%，且清晰度保持在2.3%以内。

🔬 方法详解

问题定义：本文旨在解决全双工语音对话模型在开放声学通道中面临的对抗性攻击问题，现有方法在防御这些攻击时效果不佳，容易被攻击者操控。

核心思路：提出心理声学对齐的潜在平滑（PALS）方法，通过在潜在空间中注入特定形状的高斯噪声，来降低对抗攻击的成功率，同时保持语音质量。

技术框架：PALS方法包括三个主要模块：1) 噪声注入模块，使用局部代码本协方差生成噪声；2) 潜在空间优化模块，确保噪声在心理声学掩蔽阈值下；3) 训练模块，利用Kullback-Leibler一致性目标进行优化。

关键创新：PALS的创新在于其通过心理声学原理设计的噪声注入策略，使得攻击者难以察觉，同时有效降低了对抗攻击的成功率，与传统方法相比具有显著优势。

关键设计：在PALS中，噪声的形状由局部代码本协方差决定，损失函数采用Kullback-Leibler散度，以确保模型在训练过程中保持鲁棒性，网络结构则基于现有的全双工对话模型进行改进。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PALS方法在对抗攻击防御方面表现优异，劫持率从91.7%降低至8.3%，静音率和越狱率分别降低至11.2%和9.1%。这些结果表明，PALS在保持语音质量的同时，显著提升了模型的鲁棒性，具有重要的实际应用价值。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在智能语音助手、自动翻译系统和人机交互等领域。通过增强对抗鲁棒性，可以提高系统的安全性和可靠性，确保用户在使用过程中的信息安全。此外，未来可将该方法推广至其他类型的对话系统和语音识别模型中。

📄 摘要（原文）

End-to-end speech-to-speech dialogue models listen and speak simultaneously, so a continuously open acoustic channel is exposed to adversarial manipulation. We formalize imperceptible attacks on full-duplex agents as optimization over additive perturbations confined beneath the psychoacoustic masking threshold of the carrier speech, under three goals: targeted semantic hijacking, response suppression, and policy jailbreaking. Against an undefended Moshi-style agent, white-box attacks succeed in up to 91.7% of trials. We then introduce psychoacoustically aligned latent smoothing (PALS), which injects anisotropic Gaussian noise shaped by local codebook covariance at the residual-vector-quantized latent interface, with input noise shaped by the masking threshold constraining the attacker and trained by a Kullback--Leibler consistency objective. Deployed with no inference-time cost, PALS reduces hijack to 8.3%, mute to 11.2%, and jailbreak to 9.1% at clean quality within 2.3%. A Monte Carlo-smoothed variant certifies an ellipsoidal latent radius up to 0.616, a guaranteed floor that the empirical robustness far exceeds.