Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models
作者: Junjie Chen, Xuyang Liu, Subin Huang, Linfeng Zhang, Hang Yu
分类: cs.CL, cs.MM, cs.SI
发布日期: 2025-03-15 (更新: 2025-08-25)
DOI: 10.1109/TCSS.2025.3608484
🔗 代码/项目: GITHUB
💡 一句话要点
分析大型视觉-语言模型对多模态讽刺的感知差异，揭示其主观性和不确定性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态讽刺 视觉-语言模型 情感分析 提示工程 模型评估
📋 核心要点
- 现有方法难以捕捉多模态讽刺的主观性和复杂性，二元标签范式过于简化。
- 设计分析框架，通过系统性提示评估LVLMs在多模态讽刺理解上的差异和不确定性。
- 实验表明LVLMs在讽刺理解上存在显著差异，提示类型影响模型一致性，揭示讽刺理解的主观性。
📝 摘要（中文）
随着大型视觉-语言模型(LVLMs)展现出越来越接近人类的能力，一个关键问题浮出水面：不同的LVLMs对多模态讽刺的理解是否不同？单个模型能否像人类一样从多个角度理解讽刺？为了探索这个问题，我们使用系统设计的提示，在现有的多模态讽刺数据集上引入了一个分析框架。我们评估了12个最先进的LVLMs，共计2409个样本，考察了模型内部和模型之间的解释差异，重点关注置信度、与数据集标签的一致性以及对模糊“中性”情况的识别。我们进一步在一个包含多个数据集、扩展的提示变体和具有代表性的商业LVLMs的100个样本的迷你基准上验证了我们的发现。结果表明，LVLMs之间以及同一模型在不同提示下存在显著差异。虽然面向分类的提示产生更高的内部一致性，但当要求进行解释性推理时，模型差异显著。这些结果通过强调讽刺的主观性，挑战了二元标签范式。我们提倡超越严格的标注方案，转向多视角、具有不确定性意识的建模，从而更深入地了解多模态讽刺理解。我们的代码和数据可在https://github.com/CoderChen01/LVLMSarcasmAnalysis 获取。
🔬 方法详解
问题定义：论文旨在解决大型视觉-语言模型（LVLMs）在理解多模态讽刺时存在的差异性问题。现有方法通常采用二元分类（讽刺/非讽刺）的方式，忽略了讽刺的主观性和模糊性，以及不同模型可能存在的理解偏差。此外，现有研究较少关注模型在不同提示下的表现差异。
核心思路：论文的核心思路是通过设计一个分析框架，系统性地评估不同LVLMs在多模态讽刺理解上的差异。该框架通过精心设计的提示，引导模型进行解释性推理，从而揭示模型在置信度、与数据集标签的一致性以及对中性情况的识别上的差异。通过分析这些差异，可以更深入地了解模型对讽刺的理解程度和局限性。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择现有的多模态讽刺数据集；2) 设计系统性的提示，包括分类导向和解释导向的提示；3) 选择多个最先进的LVLMs进行评估；4) 分析模型在不同提示下的输出，包括置信度、与数据集标签的一致性以及对中性情况的识别；5) 在一个包含多个数据集和提示变体的迷你基准上验证发现。
关键创新：论文的关键创新在于：1) 提出了一个系统性的分析框架，用于评估LVLMs在多模态讽刺理解上的差异；2) 强调了讽刺的主观性和模糊性，挑战了传统的二元标签范式；3) 揭示了不同LVLMs在讽刺理解上存在显著差异，以及提示类型对模型一致性的影响。
关键设计：论文的关键设计包括：1) 精心设计的提示，旨在引导模型进行解释性推理，从而揭示其对讽刺的理解程度；2) 使用多个数据集和提示变体构建迷你基准，以验证研究发现的泛化能力；3) 关注模型在置信度、与数据集标签的一致性以及对中性情况的识别上的表现，从而更全面地评估模型的讽刺理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，不同的LVLMs在多模态讽刺理解上存在显著差异。面向分类的提示虽然能提高模型内部一致性，但在解释性推理任务中，模型之间的差异更为明显。在包含多个数据集和提示变体的迷你基准测试中，验证了这些发现的泛化能力，进一步强调了讽刺理解的主观性。
🎯 应用场景
该研究成果可应用于提升AI在社交媒体情感分析、对话系统和人机交互等领域的性能。通过更准确地识别讽刺，AI系统可以更好地理解用户意图，从而提供更自然、更有效的服务。此外，该研究也为多模态情感理解的未来研究方向提供了新的思路。
📄 摘要（原文）
With the advent of large vision-language models (LVLMs) demonstrating increasingly human-like abilities, a pivotal question emerges: do different LVLMs interpret multimodal sarcasm differently, and can a single model grasp sarcasm from multiple perspectives like humans? To explore this, we introduce an analytical framework using systematically designed prompts on existing multimodal sarcasm datasets. Evaluating 12 state-of-the-art LVLMs over 2,409 samples, we examine interpretive variations within and across models, focusing on confidence levels, alignment with dataset labels, and recognition of ambiguous "neutral" cases. We further validate our findings on a diverse 100-sample mini-benchmark, incorporating multiple datasets, expanded prompt variants, and representative commercial LVLMs. Our findings reveal notable discrepancies -- across LVLMs and within the same model under varied prompts. While classification-oriented prompts yield higher internal consistency, models diverge markedly when tasked with interpretive reasoning. These results challenge binary labeling paradigms by highlighting sarcasm's subjectivity. We advocate moving beyond rigid annotation schemes toward multi-perspective, uncertainty-aware modeling, offering deeper insights into multimodal sarcasm comprehension. Our code and data are available at: https://github.com/CoderChen01/LVLMSarcasmAnalysis