AdamMeme: Adaptively Probe the Reasoning Capacity of Multimodal Large Language Models on Harmfulness

📄 arXiv: 2507.01702v1 📥 PDF

作者: Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Zhen Ye, Guang Chen, Zhiyong Huang, Jing Ma

分类: cs.CL, cs.AI

发布日期: 2025-07-02

备注: ACL 2025

🔗 代码/项目: GITHUB

💡 一句话要点

AdamMeme：自适应探查多模态大语言模型在有害性上的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 有害性评估 自适应评估 多智能体系统 Meme理解

📋 核心要点

  1. 现有评估方法依赖静态数据集，无法有效应对在线meme的动态演变，限制了对模型有害性理解能力的全面评估。
  2. AdamMeme采用基于代理的框架，通过多智能体协作迭代更新meme数据，自适应地探查mLLMs的推理能力。
  3. 实验表明，AdamMeme能系统地揭示不同mLLMs的性能差异，并提供对模型弱点的细粒度分析。

📝 摘要（中文）

社交媒体时代多模态meme的泛滥，要求多模态大语言模型(mLLMs)能够有效理解meme的有害性。现有的评估mLLMs在有害meme理解上的基准测试，依赖于基于准确率的、模型无关的、使用静态数据集的评估方法。这些基准测试在提供最新和全面的评估方面存在局限性，因为在线meme是动态演变的。为了解决这个问题，我们提出了AdamMeme，一个灵活的、基于代理的评估框架，它自适应地探查mLLMs在解读meme有害性方面的推理能力。通过多智能体协作，AdamMeme通过迭代更新具有挑战性样本的meme数据来提供全面的评估，从而暴露mLLMs在解释有害性方面的具体局限性。大量的实验表明，我们的框架系统地揭示了不同目标mLLMs的不同性能，提供了对模型特定弱点的深入、细粒度的分析。我们的代码可在https://github.com/Lbotirx/AdamMeme上找到。

🔬 方法详解

问题定义：现有方法使用静态数据集评估多模态大语言模型（mLLMs）对有害meme的理解能力，无法捕捉在线meme的动态变化，导致评估结果不够全面和及时。此外，基于准确率的评估方式也难以深入分析模型的具体弱点。

核心思路：AdamMeme的核心思路是构建一个动态的、自适应的评估环境，通过多智能体协作，不断生成具有挑战性的meme样本，并利用这些样本迭代地测试和分析mLLMs的有害性理解能力。这种方法能够更有效地暴露模型的弱点，并提供更细粒度的评估结果。

技术框架：AdamMeme框架包含多个智能体，这些智能体协同工作以生成、评估和更新meme数据集。主要流程包括：1) Meme生成：智能体根据预定义的规则和目标，生成新的meme样本。2) 有害性评估：目标mLLM对生成的meme样本进行有害性评估。3) 样本选择：根据mLLM的评估结果，选择具有挑战性的样本（例如，mLLM错误分类的样本）加入数据集。4) 迭代更新：重复上述步骤，不断更新数据集，并重新评估mLLM的性能。

关键创新：AdamMeme的关键创新在于其自适应的评估机制。通过迭代更新数据集，AdamMeme能够不断生成更具挑战性的样本，从而更有效地暴露mLLMs的弱点。与传统的静态数据集评估方法相比，AdamMeme能够提供更全面、更深入的评估结果。

关键设计：AdamMeme的关键设计包括：1) 智能体设计：不同的智能体负责不同的任务，例如meme生成、有害性评估和样本选择。2) 奖励函数设计：奖励函数用于指导智能体生成具有挑战性的样本。3) 数据集更新策略：数据集更新策略决定了如何选择和添加新的样本到数据集中。这些设计共同确保了AdamMeme能够有效地探查mLLMs的推理能力。

📊 实验亮点

实验结果表明，AdamMeme能够有效地揭示不同mLLMs在有害meme理解方面的性能差异。例如，一些mLLMs在处理特定类型的有害meme时表现出明显的弱点，而AdamMeme能够通过迭代更新数据集，不断生成这类具有挑战性的样本，从而更有效地暴露这些弱点。具体性能数据和对比基线在论文中有详细描述。

🎯 应用场景

AdamMeme可用于评估和提升多模态大语言模型在理解和识别有害内容方面的能力，有助于构建更安全、更负责任的AI系统。该框架还可应用于其他多模态理解任务，例如情感分析、虚假信息检测等，具有广泛的应用前景。

📄 摘要（原文）

The proliferation of multimodal memes in the social media era demands that multimodal Large Language Models (mLLMs) effectively understand meme harmfulness. Existing benchmarks for assessing mLLMs on harmful meme understanding rely on accuracy-based, model-agnostic evaluations using static datasets. These benchmarks are limited in their ability to provide up-to-date and thorough assessments, as online memes evolve dynamically. To address this, we propose AdamMeme, a flexible, agent-based evaluation framework that adaptively probes the reasoning capabilities of mLLMs in deciphering meme harmfulness. Through multi-agent collaboration, AdamMeme provides comprehensive evaluations by iteratively updating the meme data with challenging samples, thereby exposing specific limitations in how mLLMs interpret harmfulness. Extensive experiments show that our framework systematically reveals the varying performance of different target mLLMs, offering in-depth, fine-grained analyses of model-specific weaknesses. Our code is available at https://github.com/Lbotirx/AdamMeme.