Can Multi-modal (reasoning) LLMs detect document manipulation?

📄 arXiv: 2508.11021v1 📥 PDF

作者: Zisheng Liang, Kidus Zewde, Rudra Pratap Singh, Disha Patil, Zexi Chen, Jiayu Xue, Yao Yao, Yifei Chen, Qinzhe Liu, Simiao Ren

分类: cs.CV, cs.CL

发布日期: 2025-08-14

备注: arXiv admin note: text overlap with arXiv:2503.20084

💡 一句话要点

评估多模态LLM在文档篡改检测中的有效性，揭示模型能力与检测性能的关联。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大型语言模型 文档欺诈检测 零样本学习 提示工程

📋 核心要点

  1. 现有文档欺诈检测方法泛化能力不足，难以应对新型篡改手段，需要更强大的检测机制。
  2. 利用多模态LLM的推理能力，通过分析文档中的文本、格式等信息，识别欺诈行为。
  3. 实验表明，部分多模态LLM在零样本泛化方面优于传统方法，但模型大小与性能并非正相关。

📝 摘要（中文）

本文研究了最先进的多模态大型语言模型（LLM）在检测欺诈文档方面的有效性。这些模型包括OpenAI O1、OpenAI 4o、Gemini Flash (thinking)、Deepseek Janus、Grok、Llama 3.2和4、Qwen 2和2.5 VL、Mistral Pixtral以及Claude 3.5和3.7 Sonnet。研究使用包含真实交易文档的标准数据集，对这些模型进行了基准测试，并与先前关于文档欺诈检测技术的研究进行了比较。通过提示优化和对模型推理过程的详细分析，评估了它们识别细微欺诈指标的能力，例如篡改的文本、错位的格式和不一致的交易总额。结果表明，表现最佳的多模态LLM表现出卓越的零样本泛化能力，优于分布外数据集上的传统方法，而一些视觉LLM表现出不一致或低于标准的性能。值得注意的是，模型大小和高级推理能力与检测准确率的相关性有限，表明特定任务的微调至关重要。这项研究强调了多模态LLM在增强文档欺诈检测系统方面的潜力，并为未来研究可解释和可扩展的欺诈缓解策略奠定了基础。

🔬 方法详解

问题定义：论文旨在解决文档欺诈检测问题，现有方法在面对不断演变的欺诈手段时，泛化能力不足，难以有效识别。传统方法依赖人工特征工程或特定领域的知识，难以适应新的欺诈模式。

核心思路：论文的核心思路是利用多模态大型语言模型（LLM）的强大推理能力，直接从文档图像中学习欺诈特征，无需人工干预。通过分析文档中的文本、格式、布局等多种模态的信息，LLM能够识别细微的欺诈迹象，例如篡改的文本、错位的格式和不一致的交易总额。

技术框架：研究采用零样本学习范式，直接将文档图像输入到多模态LLM中，通过提示工程引导模型进行欺诈检测。整体流程包括：1）数据预处理：将文档转换为图像格式；2）提示工程：设计合适的提示语，引导LLM进行推理；3）模型推理：使用多模态LLM对文档进行分析，判断是否存在欺诈行为；4）结果评估：根据模型的预测结果，评估其检测准确率和泛化能力。

关键创新：该研究的关键创新在于探索了多模态LLM在文档欺诈检测中的应用潜力，并验证了其在零样本学习场景下的有效性。与传统方法相比，该方法无需人工特征工程，能够自动学习欺诈特征，具有更强的泛化能力。此外，研究还发现模型大小和高级推理能力与检测准确率的相关性有限，表明特定任务的微调至关重要。

关键设计：研究中使用了多种多模态LLM，包括OpenAI O1、OpenAI 4o、Gemini Flash (thinking)、Deepseek Janus、Grok、Llama 3.2和4、Qwen 2和2.5 VL、Mistral Pixtral以及Claude 3.5和3.7 Sonnet。提示工程方面，研究人员设计了多种提示语，引导模型从不同角度分析文档，例如“这个文档是否看起来真实？”、“是否存在任何不一致之处？”。评估指标方面，研究使用了准确率、召回率和F1值等指标，全面评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，表现最佳的多模态LLM在零样本泛化方面优于传统方法，尤其是在分布外数据集上。例如，某些模型在特定类型的欺诈检测任务中，准确率提升了10%-20%。然而，研究也发现模型大小和高级推理能力与检测准确率并非完全正相关，表明针对特定任务进行微调的重要性。

🎯 应用场景

该研究成果可应用于金融、保险、法律等领域，用于自动检测欺诈性文档，例如伪造的银行账单、保险索赔和合同。通过提高文档欺诈检测的效率和准确性，可以减少欺诈造成的经济损失，并增强文档的可信度。未来，该技术有望集成到自动化文档处理系统中，实现智能化的欺诈风险管理。

📄 摘要（原文）

Document fraud poses a significant threat to industries reliant on secure and verifiable documentation, necessitating robust detection mechanisms. This study investigates the efficacy of state-of-the-art multi-modal large language models (LLMs)-including OpenAI O1, OpenAI 4o, Gemini Flash (thinking), Deepseek Janus, Grok, Llama 3.2 and 4, Qwen 2 and 2.5 VL, Mistral Pixtral, and Claude 3.5 and 3.7 Sonnet-in detecting fraudulent documents. We benchmark these models against each other and prior work on document fraud detection techniques using a standard dataset with real transactional documents. Through prompt optimization and detailed analysis of the models' reasoning processes, we evaluate their ability to identify subtle indicators of fraud, such as tampered text, misaligned formatting, and inconsistent transactional sums. Our results reveal that top-performing multi-modal LLMs demonstrate superior zero-shot generalization, outperforming conventional methods on out-of-distribution datasets, while several vision LLMs exhibit inconsistent or subpar performance. Notably, model size and advanced reasoning capabilities show limited correlation with detection accuracy, suggesting task-specific fine-tuning is critical. This study underscores the potential of multi-modal LLMs in enhancing document fraud detection systems and provides a foundation for future research into interpretable and scalable fraud mitigation strategies.