Detecting Text Manipulation in Images using Vision Language Models

📄 arXiv: 2509.10278v1 📥 PDF

作者: Vidit Vidit, Pavel Korshunov, Amir Mohammadi, Christophe Ecabert, Ketan Kotwal, Sébastien Marcel

分类: cs.CV

发布日期: 2025-09-12

备注: Accepted in Synthetic Realities and Biometric Security Workshop BMVC-2025. For paper page see https://www.idiap.ch/paper/textvlmdet/

💡 一句话要点

利用视觉语言模型检测图像中的文本篡改

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 文本篡改检测 视觉语言模型 图像篡改检测 深度学习 多模态学习

📋 核心要点

  1. 现有图像篡改检测研究较少关注文本篡改，存在知识空白。
  2. 本文通过分析不同VLMs在文本篡改数据集上的表现，填补了这一空白。
  3. 实验表明，开源VLM在文本篡改检测上与闭源模型存在差距，且图像篡改检测专用VLM泛化能力不足。

📝 摘要（中文）

近期的研究表明，大型视觉语言模型（VLMs或LVLMs）在图像篡改检测方面表现出有效性。然而，这些研究在很大程度上忽略了文本篡改检测。本文通过在不同的文本篡改数据集上分析闭源和开源的VLMs，弥补了这一知识空白。结果表明，开源模型正在逐渐接近，但仍然落后于像GPT-4o这样的闭源模型。此外，本文还对专门用于图像篡改检测的VLMs进行了文本篡改检测的基准测试，结果表明它们存在泛化问题。本文对在真实场景文本和虚构身份证件上进行的篡改进行了VLMs的基准测试，其中后者模拟了具有挑战性的现实滥用场景。

🔬 方法详解

问题定义：论文旨在解决图像中文本篡改的检测问题。现有方法，特别是针对图像篡改检测设计的视觉语言模型，在文本篡改检测任务中表现出泛化能力不足的问题。此外，开源视觉语言模型在文本篡改检测方面的能力与闭源模型相比仍有差距。

核心思路：论文的核心思路是利用现有的视觉语言模型（VLMs），包括闭源和开源模型，直接应用于文本篡改检测任务，并进行基准测试和分析。通过比较不同模型的性能，揭示它们在文本篡改检测方面的优势和不足。同时，研究还关注了图像篡改检测专用VLMs在文本篡改检测任务中的泛化能力。

技术框架：论文的技术框架主要包括以下几个步骤：1) 收集或构建包含文本篡改的图像数据集；2) 选择不同的视觉语言模型（包括闭源和开源模型，以及图像篡改检测专用模型）；3) 将图像输入到VLMs中，并利用VLMs的文本理解能力来判断图像中的文本是否被篡改；4) 对比不同VLMs在文本篡改检测任务上的性能，并分析其优缺点。

关键创新：论文的关键创新在于：1) 首次系统性地研究了视觉语言模型在文本篡改检测任务中的应用；2) 揭示了图像篡改检测专用VLMs在文本篡改检测任务中的泛化能力问题；3) 对比了闭源和开源VLMs在文本篡改检测方面的性能差异，为后续研究提供了参考。

关键设计：论文的关键设计包括：1) 选取了具有代表性的闭源和开源视觉语言模型，例如GPT-4o；2) 构建了包含真实场景文本和虚构身份证件等多种类型的文本篡改数据集，以模拟不同的应用场景；3) 使用准确率、召回率等指标来评估VLMs在文本篡改检测任务上的性能。

📊 实验亮点

研究结果表明，开源视觉语言模型在文本篡改检测方面与闭源模型（如GPT-4o）相比仍有差距。此外，专门用于图像篡改检测的视觉语言模型在文本篡改检测任务中表现出泛化能力不足的问题。该研究还对真实场景文本和虚构身份证件上的篡改进行了基准测试。

🎯 应用场景

该研究成果可应用于数字取证、信息安全、身份验证等领域。例如，可以用于检测伪造的身份证件、篡改的新闻图片等，从而维护社会诚信和信息安全。未来，该技术有望集成到自动化内容审核系统中，提高检测效率和准确性。

📄 摘要（原文）

Recent works have shown the effectiveness of Large Vision Language Models (VLMs or LVLMs) in image manipulation detection. However, text manipulation detection is largely missing in these studies. We bridge this knowledge gap by analyzing closed- and open-source VLMs on different text manipulation datasets. Our results suggest that open-source models are getting closer, but still behind closed-source ones like GPT- 4o. Additionally, we benchmark image manipulation detection-specific VLMs for text manipulation detection and show that they suffer from the generalization problem. We benchmark VLMs for manipulations done on in-the-wild scene texts and on fantasy ID cards, where the latter mimic a challenging real-world misuse.