EverydayMMQA: A Multilingual and Multimodal Framework for Culturally Grounded Spoken Visual QA

📄 arXiv: 2510.06371v1 📥 PDF

作者: Firoj Alam, Ali Ezzat Shahroor, Md. Arid Hasan, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Mohamed Bayan Kmainasi, Shammur Absar Chowdhury, Basel Mousi, Fahim Dalvi, Nadir Durrani, Natasa Milic-Frayling

分类: cs.CL, cs.AI

发布日期: 2025-10-07

备注: Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Contextual Understanding, Culturally Informed

💡 一句话要点

提出EverydayMMQA框架与OASIS数据集，解决多语言多模态VQA中文化常识不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉问答 文化常识 口语理解 数据集构建

📋 核心要点

  1. 现有VQA模型在处理需要文化背景知识的问题时表现不佳，尤其是在低资源语言中。
  2. EverydayMMQA框架旨在创建包含语音、图像和文本的多模态数据集，以提升模型对文化常识的理解。
  3. OASIS数据集包含大量英语和阿拉伯语的口语和视觉问答对，可用于训练和评估模型。

📝 摘要（中文）

大规模多模态模型在视觉问答(VQA)等任务上表现出色，但当问题需要文化常识时，尤其是在低资源和代表性不足的语言中，它们往往会失败。为了弥合这一差距，我们引入了Everyday Multimodal and Multilingual QA (EverydayMMQA)，这是一个用于创建大规模、具有文化基础的口语和视觉问答(SVQA)数据集的框架。利用该框架，我们开发了OASIS，一个集成了语音、图像和文本的多模态数据集。OASIS包含超过约0.92M张图像和14.8M个QA对，其中包含3.7M个口语问题，支持四种独特的输入组合：仅语音、仅文本、语音+图像和文本+图像。该数据集侧重于英语和阿拉伯语的各种变体，覆盖18个国家，其内容经过精心策划，以反映多样化的真实场景。OASIS测试模型在超越对象识别的任务中，这些任务涉及实用、常识和具有文化意识的推理。我们对四个闭源模型、三个开源模型和一个微调模型进行了基准测试。EverydayMMQA和OASIS共同为构建多模态LLM提供了一个基准和训练数据集，用于文化背景下的一系列日常任务。该框架和数据集将向社区公开。

🔬 方法详解

问题定义：现有视觉问答（VQA）模型在处理需要文化背景知识和常识推理的问题时表现不佳，尤其是在低资源和代表性不足的语言中。这些模型通常侧重于对象识别和简单的视觉关系，而忽略了问题中蕴含的文化和社会语境。这导致模型在实际应用中，特别是在不同文化背景下的应用中，效果大打折扣。

核心思路：论文的核心思路是构建一个大规模、多模态、多语言的数据集，该数据集包含丰富的文化背景知识和常识推理。通过使用该数据集训练模型，可以提升模型对文化差异的感知能力，并使其能够更好地理解和回答需要文化常识的问题。同时，该数据集还包含口语数据，可以用于训练口语视觉问答模型。

技术框架：EverydayMMQA框架主要包含数据收集、数据标注和数据验证三个阶段。首先，从互联网上收集包含图像、文本和语音的数据。然后，对数据进行标注，标注的内容包括图像中的对象、对象之间的关系、问题的答案以及问题所涉及的文化背景知识。最后，对标注的数据进行验证，以确保数据的质量。OASIS数据集是基于EverydayMMQA框架构建的，它包含约0.92M张图像和14.8M个QA对，其中包含3.7M个口语问题。这些数据涵盖了英语和阿拉伯语的各种变体，以及18个国家的不同文化背景。

关键创新：该论文的关键创新在于提出了EverydayMMQA框架，并基于该框架构建了OASIS数据集。该框架能够有效地收集和标注包含文化背景知识的多模态数据。OASIS数据集是目前最大的包含文化背景知识的口语视觉问答数据集之一。与现有数据集相比，OASIS数据集更加注重文化多样性和常识推理，能够更好地反映真实世界的场景。

关键设计：OASIS数据集包含四种输入组合：仅语音、仅文本、语音+图像和文本+图像。这种设计使得研究人员可以评估模型在不同输入条件下的性能。数据集中的问题涵盖了多种类型，包括对象识别、关系推理、常识推理和文化理解。为了确保数据的质量，论文作者采用了多种验证方法，包括人工验证和自动验证。

🖼️ 关键图片

img_0

📊 实验亮点

论文对四个闭源模型、三个开源模型和一个微调模型进行了基准测试，结果表明，现有模型在OASIS数据集上的性能远低于人类水平，这表明模型在文化常识推理方面仍有很大的提升空间。该数据集的发布将为研究人员提供一个重要的资源，用于开发更智能、更具有文化意识的多模态模型。

🎯 应用场景

该研究成果可应用于智能助手、教育、文化交流等领域。例如，智能助手可以利用该数据集提升其在不同文化背景下的理解能力，从而更好地服务于不同文化背景的用户。在教育领域，该数据集可以用于开发文化学习工具，帮助学生了解不同文化的知识。在文化交流领域，该数据集可以用于构建跨文化交流平台，促进不同文化之间的理解和交流。

📄 摘要（原文）

Large-scale multimodal models achieve strong results on tasks like Visual Question Answering (VQA), but they often fail when queries require culturally grounded, everyday knowledge, particularly in low-resource and underrepresented languages. To bridge this gap, we introduce Everyday Multimodal and Multilingual QA (EverydayMMQA), a framework for creating large-scale, culturally-grounded datasets for spoken and visual question answering (SVQA). Using this framework, we developed OASIS, a multimodal dataset integrating speech, images, and text. With over ~0.92M images and 14.8M QA pairs, OASIS contains 3.7M spoken questions, enabling four unique input combinations: speech-only, text-only, speech+image, and text+image. Focused on English and Arabic varieties, 18 countries, the dataset content is curated to reflect diverse, real-world situations. OASIS tests models on tasks beyond object recognition that involve pragmatic, commonsense, and culturally aware reasoning. We benchmarked four closed-source models, three open-source models, and one fine-tuned model. EverydayMMQA and OASIS together provide a benchmark and training dataset for building multimodal LLMs for a comprehensive set of everyday tasks within cultural contexts. The framework and dataset will be made publicly available to the community.