MiD-VLM: Detecting and Grounding Global Semantic Misinformation in Image-Caption Pairs

📄 arXiv: 2610.32967v1 📥 PDF

作者: Tarunya Prasad, Bharatesh Chakravarthi

分类: cs.CV

发布日期: 2026-10-23

💡 一句话要点

提出MiD-VLM以解决图像-标题对中的语义错误问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义错误 图像-标题对 多模态模型 视觉语言模型 信息验证

📋 核心要点

  1. 现有方法在检测图像与标题之间的语义不一致性时存在不足，尤其是当图像没有明显的伪造迹象时。
  2. 本文提出了一种多模态模型，通过结合图像-文本表示和视觉场景特征，来有效识别语义错误。
  3. 在DGM4+验证集上，该模型的二元真实性分类F1分数达到了0.9679，显示出显著的性能提升。

📝 摘要（中文）

语义错误可能发生在真实图像与扭曲其叙述的标题配对时。由于图像本身可能没有明显的操控迹象，传统的像素级伪造检测方法可能无法识别这些误导性的图像-标题对。本文使用DGM4+数据集研究该问题，提出了一种多模态模型，结合SigLIP的图像-文本表示和DINOv2的视觉场景特征，通过投影MLP进行融合，并使用LoRA对Qwen2-VL-7B进行适应。该模型能够联合预测图像-标题对的真实性，识别操控类型，并对误导性标题进行标记。在DGM4+验证集上，该模型在二元真实性分类中达到了0.9679的F1分数，表明视觉语言模型的参数高效适应在检测语义不一致性方面具有良好前景，同时也激励了对精确标记级别定位的进一步研究。

🔬 方法详解

问题定义：本文旨在解决真实图像与误导性标题配对所引发的语义错误问题。现有的检测方法主要集中在像素级伪造，无法有效识别图像与标题之间的语义不一致性。

核心思路：提出的多模态模型结合了图像-文本表示和视觉场景特征，能够更全面地理解图像与标题的关系，从而识别出潜在的语义错误。

技术框架：模型架构包括三个主要模块：首先，利用SigLIP提取图像-文本表示；其次，使用DINOv2提取视觉场景特征；最后，通过投影MLP将两者结合，并对Qwen2-VL-7B进行LoRA适应。

关键创新：本研究的主要创新在于通过参数高效的方式适应视觉语言模型，以检测语义不一致性，尤其是在标记级别的定位上具有显著优势。

关键设计：模型在参数设置上采用LoRA技术，损失函数设计考虑了真实性分类和操控类型识别的双重目标，网络结构则通过投影MLP实现了多模态信息的有效融合。

📊 实验亮点

在DGM4+验证集上，提出的模型在二元真实性分类任务中达到了0.9679的F1分数，显示出相较于传统方法的显著提升。这一结果表明，参数高效的视觉语言模型适应策略在检测语义不一致性方面具有良好的前景。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、新闻图像验证和自动化内容生成等。通过有效检测图像与标题之间的语义不一致性，可以提高信息传播的准确性，减少误导性信息的扩散，具有重要的社会价值和实际影响。

📄 摘要（原文）

Semantic misinformation can arise when an authentic image is paired with a caption that changes or distorts its narrative. Because the image itself may contain no visible signs of manipulation, methods designed to detect pixel-level artifacts can miss these misleading image-caption pairs. We study this problem using DGM4+, a dataset designed to evaluate the detection of global scene and semantic inconsistencies. We propose a multimodal model that combines image-text representations from SigLIP with visual scene features from DINOv2 through a projection MLP, and adapts Qwen2-VL-7B using LoRA. The model jointly predicts whether an image-caption pair is authentic, identifies the manipulation type, and grounds the misleading caption tokens. On the DGM4+ validation split, the model achieves an F1 score of $0.9679$ for binary authenticity classification. These results suggest that parameter-efficient adaptation of vision-language models is promising for detecting semantic inconsistencies, while also motivating further work on precise token-level grounding.