ROAM-ASD: Robust Open-World Active Speaker Detection with Flexible Multimodal Fusion

📄 arXiv: 2609.26648v1 📥 PDF

作者: Pu Wang, Yujun Wang, Hugo Van hamme

分类: cs.MM, cs.CV, cs.SD, eess.AS, eess.IV

发布日期: 2026-09-22

备注: Submitted to IEEE ICASSP 2027

💡 一句话要点

提出ROAM-ASD以解决主动说话者检测中的鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动说话者检测 多模态融合 鲁棒性 自注意力机制 跨数据集泛化

📋 核心要点

  1. 现有的主动说话者检测系统在复杂环境或观察不完整的情况下，常常无法可靠地进行面孔与语音的关联。
  2. ROAM-ASD通过联合建模音频、全脸和细粒度嘴部表征，采用统一的自注意力机制来处理多模态输入，增强了系统的鲁棒性。
  3. ROAM-ASD在多个基准测试中表现出色，显著提高了检测精度，并在零样本学习中展现出更强的跨数据集泛化能力。

📝 摘要（中文）

主动说话者检测（ASD）需要可靠地将可见面孔与声学语音关联，但现有系统在复杂领域或观察不完整时常常表现不佳。本文提出了ROAM-ASD，一个鲁棒的视听框架，联合建模音频、全脸和细粒度嘴部表征。通过统一的自注意力机制，处理所有输入流并使用模态无关的查询标记，促进可用模态输入之间的直接交互。模态丢失进一步提高了在输入流不可用时的鲁棒性。ROAM-ASD在五个ASD基准测试中实现了最先进的性能，分别在WASD、UniTalk、AVA、ASW和Talkies上取得了98.8%、87.9%、96.5%、99.3%和98.2%的mAP，分别比之前的最佳系统提高了5.1、4.7、0.9、1.0和2.1个mAP点。此外，ROAM-ASD显著改善了零样本跨数据集的泛化能力，并对缺失观察保持鲁棒性。

🔬 方法详解

问题定义：主动说话者检测（ASD）旨在通过可见面孔与声学语音的关联来识别说话者。然而，现有方法在复杂环境或输入不完整时表现不佳，导致检测准确性下降。

核心思路：ROAM-ASD的核心思路是通过联合建模音频、全脸和嘴部表征，利用统一的自注意力机制来处理多模态输入，从而增强系统在不同条件下的鲁棒性。

技术框架：该框架包括三个主要模块：音频处理模块、全脸表征模块和嘴部表征模块。所有模块通过自注意力机制进行交互，模态丢失机制则在输入流缺失时保持系统的鲁棒性。

关键创新：ROAM-ASD的创新在于其统一的自注意力机制和模态丢失策略，使得不同模态之间能够直接交互，并在输入不完整时依然保持高效的检测性能。这与传统方法的单一模态处理方式形成了鲜明对比。

关键设计：在网络结构上，ROAM-ASD采用了多层自注意力机制，并设计了模态无关的查询标记，以便于不同模态的融合。此外，损失函数的设计考虑了多模态输入的特性，进一步提升了模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ROAM-ASD在五个主动说话者检测基准测试中均取得了最先进的性能，具体表现为在WASD上达到98.8% mAP，UniTalk上87.9%，AVA上96.5%，ASW上99.3%，Talkies上98.2%。这些结果相比于之前的最佳系统，分别提高了5.1、4.7、0.9、1.0和2.1个mAP点，显示出显著的性能提升。

🎯 应用场景

ROAM-ASD在视频监控、在线会议、虚拟现实等领域具有广泛的应用潜力。其鲁棒的主动说话者检测能力能够提升人机交互的自然性和准确性，尤其在复杂环境下的应用场景中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Active speaker detection (ASD) requires reliable association between visible faces and acoustic speech, yet existing systems often degrade under challenging domains or incomplete observations. We introduce ROAM-ASD, a robust audiovisual framework that jointly models audio, full-face, and fine-grained mouth representations. A unified joint self-attention mechanism processes all input streams together with modality-agnostic query tokens, enabling direct interaction among available modality inputs. Modality dropout further improves robustness when input streams are unavailable. ROAM-ASD achieves state-of-the-art performance across five ASD benchmarks: 98.8% mAP on WASD, 87.9% on UniTalk, 96.5% on AVA, 99.3% on ASW, and 98.2% on Talkies, improving over previous best systems by 5.1, 4.7, 0.9, 1.0, and 2.1 mAP points, respectively. ROAM-ASD also substantially improves zero-shot cross-dataset generalization and remains robust to missing observations.