Temporally Aligning Long Audio Interviews with Questions: A Case Study in Multimodal Data Integration

📄 arXiv: 2310.06702v1 📥 PDF

作者: Piyush Singh Pasi, Karthikeya Battepati, Preethi Jyothi, Ganesh Ramakrishnan, Tanmay Mahapatra, Manoj Singh

分类: cs.CL, cs.LG, cs.SD, eess.AS

发布日期: 2023-10-10

备注: Work Accepted in IJCAI-23- AI and Social Good Track

💡 一句话要点

提出INDENT框架以解决长音频访谈与问题对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长音频对齐 多模态数据融合 语音嵌入 跨注意力机制 社会调查 医疗健康 印地语 ASR模型

📋 核心要点

  1. 现有音频对齐方法通常依赖完全监督，难以处理长音频中的非逐字文本查询。
  2. 提出的INDENT框架通过跨注意力机制和时间顺序信息，学习语音嵌入以实现音频与文本的有效对齐。
  3. 实验结果显示，INDENT模型在R-avg上提升约3%，且在多种印度语言中均表现出色。

📝 摘要（中文）

音频到文本的对齐问题在长音频录音中面临挑战，尤其是查询文本未逐字出现在音频中。本文与CARE India合作，旨在定位长音频录音中问题的提问位置。提出的INDENT框架利用跨注意力模型和句子时间顺序的先验信息，学习语音嵌入以捕捉语义。通过实验证明，该模型在效果上显著优于基于文本的启发式方法，且在多种印度语言中表现良好。

🔬 方法详解

问题定义：本研究旨在解决长音频录音中音频与文本查询的对齐问题。现有方法在处理长音频时，通常依赖逐字匹配，导致效率低下且难以适应实际场景。

核心思路：论文提出的INDENT框架通过跨注意力机制结合句子时间顺序信息，学习语音嵌入，旨在捕捉语音的语义特征，从而实现音频与文本的有效对齐。

技术框架：INDENT框架主要包括数据预处理、语音嵌入学习和音频检索三个模块。首先，对长音频进行分段处理，然后通过跨注意力机制学习语音嵌入，最后根据文本查询检索对应的音频片段。

关键创新：INDENT的核心创新在于利用跨注意力机制和时间顺序信息，显著提高了音频与文本的对齐精度。这一方法与传统的基于文本的启发式方法相比，能够更好地处理长音频中的非逐字查询。

关键设计：在模型设计中，采用了特定的损失函数以优化语音嵌入的学习效果，并且在训练过程中仅使用了印地语数据，展示了其在多种印度语言中的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，INDENT模型在R-avg指标上提升约3%，相较于传统的文本启发式方法效果显著。此外，使用先进的ASR模型生成的噪声语音在对齐任务中表现更佳，展示了模型的鲁棒性和适应性。

🎯 应用场景

该研究的潜在应用领域包括社会调查、医疗健康访谈和教育等场景，尤其是在资源有限的地区。通过提高长音频数据的处理效率，能够显著减轻人工审核的负担，提升数据分析的准确性和及时性，具有重要的实际价值和社会影响。

📄 摘要（原文）

The problem of audio-to-text alignment has seen significant amount of research using complete supervision during training. However, this is typically not in the context of long audio recordings wherein the text being queried does not appear verbatim within the audio file. This work is a collaboration with a non-governmental organization called CARE India that collects long audio health surveys from young mothers residing in rural parts of Bihar, India. Given a question drawn from a questionnaire that is used to guide these surveys, we aim to locate where the question is asked within a long audio recording. This is of great value to African and Asian organizations that would otherwise have to painstakingly go through long and noisy audio recordings to locate questions (and answers) of interest. Our proposed framework, INDENT, uses a cross-attention-based model and prior information on the temporal ordering of sentences to learn speech embeddings that capture the semantics of the underlying spoken text. These learnt embeddings are used to retrieve the corresponding audio segment based on text queries at inference time. We empirically demonstrate the significant effectiveness (improvement in R-avg of about 3%) of our model over those obtained using text-based heuristics. We also show how noisy ASR, generated using state-of-the-art ASR models for Indian languages, yields better results when used in place of speech. INDENT, trained only on Hindi data is able to cater to all languages supported by the (semantically) shared text space. We illustrate this empirically on 11 Indic languages.