Synthetic Multimodal Question Generation

📄 arXiv: 2407.02233v2 📥 PDF

作者: Ian Wu, Sravan Jayanthi, Vijay Viswanathan, Simon Rosenberg, Sina Pakazad, Tongshuang Wu, Graham Neubig

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-07-02 (更新: 2024-10-03)

备注: Accepted to EMNLP 2024 Findings; Camera Ready

💡 一句话要点

提出SMMQG框架，用于合成多模态问答数据，解决MMRAG评估数据匮乏问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 合成数据生成 检索增强生成 大型语言模型 多模态模型

📋 核心要点

  1. 现有多模态检索增强生成（MMRAG）模型缺乏高质量、特定风格和模态的评估数据集。
  2. SMMQG框架利用检索器、大型语言模型和大型多模态模型，从多模态文档中合成高质量问答对。
  3. 实验表明，SMMQG生成的数据质量与人工标注数据集相当，且能有效评估MMRAG模型性能。

📝 摘要（中文）

多模态检索增强生成（MMRAG）是解决多模态文档问答的有效方法。评估MMRAG的一个关键挑战是缺乏高质量的数据集，这些数据集需要匹配目标问题风格和模态。为此，我们提出了SMMQG，一个合成数据生成框架。SMMQG利用检索器、大型语言模型（LLM）和大型多模态模型（LMM）之间的相互作用，直接从多模态文档生成问题和答案对，并且问题符合指定的风格和模态。我们使用SMMQG生成了一个包含1024个关于维基百科文档的问题的MMRAG数据集，并使用它评估了最先进的模型，揭示了只有通过特定风格和模态的评估数据才能获得的模型性能洞察。接下来，我们通过人工研究衡量了SMMQG生成的数据的质量。我们发现SMMQG生成的合成数据的质量与众包基准MMQA的质量相当，并且使用这两个数据集的下游评估结果非常一致。

🔬 方法详解

问题定义：论文旨在解决多模态检索增强生成（MMRAG）模型评估中，缺乏高质量、特定风格和模态的数据集的问题。现有的数据集要么规模不足，要么无法覆盖所有感兴趣的模态和问题风格，导致模型评估不够全面和准确。

核心思路：论文的核心思路是利用合成数据生成技术，自动创建符合特定要求的多模态问答数据集。通过结合检索器、大型语言模型（LLM）和大型多模态模型（LMM），SMMQG能够从原始多模态文档中提取信息，并生成高质量的问题和答案对。这种方法可以灵活控制生成数据的风格和模态，从而满足不同评估需求。

技术框架：SMMQG框架包含以下主要模块：1) 文档检索模块：使用检索器从多模态文档库中检索相关文档。2) 问题生成模块：利用大型语言模型（LLM），基于检索到的文档生成问题，并控制问题的风格。3) 答案生成模块：使用大型多模态模型（LMM），基于文档和生成的问题，生成对应的答案。整个流程自动化，可以批量生成大规模数据集。

关键创新：SMMQG的关键创新在于其能够合成高质量、特定风格和模态的多模态问答数据。与传统的人工标注方法相比，SMMQG具有更高的效率和灵活性，可以根据需要生成不同类型的数据。此外，SMMQG结合了检索器、LLM和LMM，充分利用了各种模型的优势，从而保证了生成数据的质量。

关键设计：SMMQG的关键设计包括：1) 检索器的选择：选择合适的检索器对于获取相关文档至关重要。2) LLM的Prompt设计：通过精心设计的Prompt，可以控制生成问题的风格和难度。3) LMM的训练和微调：LMM需要经过训练和微调，才能准确理解多模态文档并生成正确的答案。4) 数据过滤和清洗：对生成的数据进行过滤和清洗，去除低质量的样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMMQG生成的合成数据质量与人工标注的MMQA数据集相当。使用SMMQG生成的数据集评估MMRAG模型，得到的结论与使用MMQA数据集评估的结果高度一致。这表明SMMQG可以作为一种有效的替代方案，用于生成高质量的多模态问答数据集。

🎯 应用场景

SMMQG框架可广泛应用于多模态问答系统的开发和评估。它可以用于生成各种类型的多模态问答数据集，例如图像问答、视频问答和文档问答。此外，SMMQG还可以用于评估不同MMRAG模型的性能，并帮助研究人员发现模型的优点和不足。未来，SMMQG可以扩展到支持更多模态和问题风格，从而更好地服务于多模态人工智能领域。

📄 摘要（原文）

Multimodal Retrieval Augmented Generation (MMRAG) is a powerful approach to question-answering over multimodal documents. A key challenge with evaluating MMRAG is the paucity of high-quality datasets matching the question styles and modalities of interest. In light of this, we propose SMMQG, a synthetic data generation framework. SMMQG leverages interplay between a retriever, large language model (LLM) and large multimodal model (LMM) to generate question and answer pairs directly from multimodal documents, with the questions conforming to specified styles and modalities. We use SMMQG to generate an MMRAG dataset of 1024 questions over Wikipedia documents and evaluate state-of-the-art models using it, revealing insights into model performance that are attainable only through style- and modality-specific evaluation data. Next, we measure the quality of data produced by SMMQG via a human study. We find that the quality of SMMQG-generated synthetic data is on par with the quality of the crowdsourced benchmark MMQA and that downstream evaluation results using both datasets strongly concur.