AQUALLM: Audio Question Answering Data Generation Using Large Language Models

📄 arXiv: 2312.17343v1 📥 PDF

作者: Swarup Ranjan Behera, Krishna Mohan Injeti, Jaya Sai Kiran Patibandla, Praveen Kumar Pokala, Balakrishna Reddy Pailla

分类: cs.CL, cs.AI, cs.LG, cs.MM, cs.SD, eess.AS

发布日期: 2023-12-28

🔗 代码/项目: GITHUB

💡 一句话要点

AQUALLM：利用大型语言模型生成音频问答数据，提升模型泛化性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频问答 数据生成 大型语言模型 多模态学习 自然语言处理

📋 核心要点

  1. 现有AQA数据集规模和多样性不足，限制了模型性能和泛化能力。
  2. AQUALLM框架利用LLM，基于音频字幕自动生成大规模高质量AQA数据。
  3. 实验表明，基于AQUALLM生成的数据训练的模型，性能超越现有SOTA模型，且泛化性更强。

📝 摘要（中文）

音频问答（AQA）是一项关键任务，机器需要分析音频信号和自然语言问题，并生成精确的自然语言答案。高质量、多样化和大规模的AQA数据集对于AQA系统的精度至关重要。虽然目前对开发准确高效的AQA模型投入了大量精力，但针对特定任务创建高质量、多样化和大规模的数据集尚未引起足够的重视。为了解决这个问题，本文提出了一个可扩展的AQA数据生成流程，称为AQUALLM框架，该框架依赖于大型语言模型（LLM）。该框架利用现有的音频字幕注释，并结合最先进的LLM来生成广泛且高质量的AQA数据集。此外，我们还提出了三个广泛且高质量的AQA基准数据集，为AQA研究的进展做出了重大贡献。在所提出的数据集上训练的AQA模型相比现有技术水平的模型，设定了更高的基准。此外，与使用人工标注的AQA数据训练的模型相比，使用我们的数据集训练的模型表现出更强的泛化能力。代码和数据集将在GitHub上提供。

🔬 方法详解

问题定义：论文旨在解决音频问答（AQA）领域高质量、多样化数据集匮乏的问题。现有方法依赖人工标注，成本高昂且难以扩展，导致模型训练数据不足，泛化能力受限。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，基于已有的音频字幕数据，自动生成大量的AQA数据。通过这种方式，可以低成本、高效地扩充AQA数据集，提升模型的性能和泛化能力。

技术框架：AQUALLM框架主要包含以下几个阶段：1) 音频字幕获取：利用现有的音频字幕数据集作为基础。2) 问题生成：使用LLM，基于音频字幕生成与之相关的问题。3) 答案生成：使用LLM，基于音频字幕和生成的问题，生成对应的答案。4) 数据过滤与清洗：对生成的数据进行过滤和清洗，去除质量较差的数据，保证数据集的质量。

关键创新：该方法的核心创新在于利用LLM进行AQA数据的自动生成。与传统的人工标注方法相比，AQUALLM框架能够显著降低数据生成成本，并能够生成更大规模、更多样化的数据集。此外，通过精心设计的prompt和过滤策略，保证了生成数据的质量。

关键设计：论文中使用了最先进的LLM（具体模型未知）作为问题和答案的生成器。关键的设计包括：1) Prompt设计：设计合适的prompt，引导LLM生成高质量的问题和答案。2) 过滤策略：使用多种过滤策略，例如基于规则的过滤和基于模型的过滤，去除质量较差的数据。3) 数据增强：使用数据增强技术，例如回译，进一步提升数据集的多样性。

📊 实验亮点

实验结果表明，基于AQUALLM生成的数据训练的AQA模型，在多个基准数据集上取得了显著的性能提升，超越了现有的SOTA模型。更重要的是，使用AQUALLM生成的数据训练的模型，在未见过的测试集上表现出更强的泛化能力，证明了该方法的有效性。

🎯 应用场景

AQUALLM框架生成的AQA数据集可广泛应用于智能语音助手、语音搜索、视频内容理解等领域。通过提升AQA模型的性能，可以实现更自然、更智能的人机交互，并为用户提供更精准的信息服务。该研究成果有助于推动多模态信息处理技术的发展。

📄 摘要（原文）

Audio Question Answering (AQA) constitutes a pivotal task in which machines analyze both audio signals and natural language questions to produce precise natural language answers. The significance of possessing high-quality, diverse, and extensive AQA datasets cannot be overstated when aiming for the precision of an AQA system. While there has been notable focus on developing accurate and efficient AQA models, the creation of high-quality, diverse, and extensive datasets for the specific task at hand has not garnered considerable attention. To address this challenge, this work makes several contributions. We introduce a scalable AQA data generation pipeline, denoted as the AQUALLM framework, which relies on Large Language Models (LLMs). This framework utilizes existing audio-caption annotations and incorporates state-of-the-art LLMs to generate expansive, high-quality AQA datasets. Additionally, we present three extensive and high-quality benchmark datasets for AQA, contributing significantly to the progression of AQA research. AQA models trained on the proposed datasets set superior benchmarks compared to the existing state-of-the-art. Moreover, models trained on our datasets demonstrate enhanced generalizability when compared to models trained using human-annotated AQA data. Code and datasets will be accessible on GitHub~\footnote{\url{https://github.com/swarupbehera/AQUALLM}}.