Exploring Vision Language Models for Multimodal and Multilingual Stance Detection
作者: Jake Vasilakes, Carolina Scarton, Zhixue Zhao
分类: cs.CL, cs.AI
发布日期: 2025-01-29
备注: Submitted to the International AAAI Conference on Web and Social Media (ICWSM) 2025
💡 一句话要点
评估视觉语言模型在多模态多语言立场检测中的性能与局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 立场检测 视觉语言模型 多模态学习 多语言处理 社交媒体分析
📋 核心要点
- 现有立场检测研究主要集中于文本，忽略了社交媒体中日益增长的多模态信息，缺乏对视觉信息利用的深入研究。
- 该论文通过评估现有视觉语言模型在多模态多语言立场检测任务中的表现，揭示了模型对不同模态信息的依赖程度。
- 实验结果表明，视觉语言模型在立场检测中更依赖文本信息，且对图像内文本的依赖高于其他视觉内容，多语言模型表现出一定一致性。
📝 摘要（中文）
社交媒体的全球影响力扩大了信息的传播，突显了对稳健的自然语言处理任务（如跨语言和模态的立场检测）的需求。先前的研究主要集中在纯文本输入上，使得多模态场景（例如涉及图像和文本的场景）相对未被充分探索。与此同时，多模态帖子的流行程度近年来显著增加。尽管最先进的视觉语言模型（VLM）显示出前景，但它们在多模态和多语言立场检测任务中的性能在很大程度上仍未得到检验。本文评估了最先进的VLM在一个新扩展的数据集上的性能，该数据集涵盖七种语言和多模态输入，研究了它们对视觉线索的使用、特定语言的性能以及跨模态交互。我们的结果表明，VLM通常比图像更依赖文本进行立场检测，并且这种趋势在各种语言中持续存在。此外，VLM对图像中包含的文本的依赖程度明显高于其他视觉内容。关于多语言性，所研究的模型倾向于在各种语言中生成一致的预测，无论它们是否明确支持多语言，尽管存在与宏F1、语言支持和模型大小不一致的异常值。
🔬 方法详解
问题定义：论文旨在解决多模态和多语言场景下的立场检测问题。现有方法主要集中于文本信息，忽略了图像等视觉信息，并且缺乏对不同语言环境下模型性能的评估。因此，如何有效利用多模态信息，并提升模型在多语言环境下的泛化能力是亟待解决的问题。
核心思路：论文的核心思路是评估现有最先进的视觉语言模型（VLMs）在多模态和多语言立场检测任务中的表现，从而了解这些模型如何利用视觉和文本信息，以及它们在不同语言环境下的性能。通过分析模型的表现，可以揭示模型对不同模态信息的依赖程度，以及模型在多语言环境下的泛化能力。
技术框架：该研究主要采用实验评估的方法。首先，作者构建了一个扩展的多模态多语言立场检测数据集，涵盖七种语言。然后，作者选择了一系列最先进的视觉语言模型（VLMs），并在该数据集上进行评估。评估指标主要包括准确率、F1值等。通过分析实验结果，作者可以了解VLMs在多模态和多语言立场检测任务中的表现，以及它们对不同模态信息的依赖程度。
关键创新：该论文的主要创新在于：1) 首次系统地评估了现有VLMs在多模态和多语言立场检测任务中的性能；2) 揭示了VLMs在立场检测中更依赖文本信息，且对图像内文本的依赖高于其他视觉内容；3) 发现多语言模型在不同语言环境下表现出一定的一致性。
关键设计：论文的关键设计在于数据集的构建和模型的选择。数据集需要涵盖多种语言和多模态信息，以充分评估模型的性能。模型的选择需要具有代表性，能够反映当前最先进的VLM技术水平。此外，实验评估指标的选择也需要能够全面反映模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视觉语言模型在立场检测中更依赖文本信息，且对图像内文本的依赖高于其他视觉内容。多语言模型在不同语言环境下表现出一定的一致性，但存在与宏F1、语言支持和模型大小不一致的异常值。这些发现为未来多模态多语言立场检测模型的设计提供了重要的参考。
🎯 应用场景
该研究成果可应用于社交媒体舆情监控、虚假信息检测、跨文化交流等领域。通过提升多模态多语言立场检测的准确性，可以更好地理解不同文化背景下人们的观点和态度，从而促进更有效的沟通和交流。未来，该研究可以进一步扩展到其他领域，如智能客服、人机交互等。
📄 摘要（原文）
Social media's global reach amplifies the spread of information, highlighting the need for robust Natural Language Processing tasks like stance detection across languages and modalities. Prior research predominantly focuses on text-only inputs, leaving multimodal scenarios, such as those involving both images and text, relatively underexplored. Meanwhile, the prevalence of multimodal posts has increased significantly in recent years. Although state-of-the-art Vision-Language Models (VLMs) show promise, their performance on multimodal and multilingual stance detection tasks remains largely unexamined. This paper evaluates state-of-the-art VLMs on a newly extended dataset covering seven languages and multimodal inputs, investigating their use of visual cues, language-specific performance, and cross-modality interactions. Our results show that VLMs generally rely more on text than images for stance detection and this trend persists across languages. Additionally, VLMs rely significantly more on text contained within the images than other visual content. Regarding multilinguality, the models studied tend to generate consistent predictions across languages whether they are explicitly multilingual or not, although there are outliers that are incongruous with macro F1, language support, and model size.