Agentic Tool-Augmented Reasoning for Explainable Image Forgery Detection

📄 arXiv: 2609.39066v1 📥 PDF

作者: Zhiya Tan, Jing Huang, Changtao Miao, Lin Tan, Xin Zhang, Weiwei Feng, Jianshu Li, Joey Tianyi Zhou

分类: cs.CV

发布日期: 2026-09-30

备注: Accepted at ACM Multimedia 2026 (Oral)

💡 一句话要点

提出Agentic Tool-Augmented Reasoning以解决图像伪造检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像伪造检测 法医工具 多轮推理 可解释性 深度学习

📋 核心要点

  1. 现有的图像伪造检测方法缺乏可解释性，无法提供有效的证据支持，导致检测结果的可信度不足。
  2. 本文提出的ATAR框架通过整合多种法医工具，采用多轮推理的方法，能够更全面地检测和解释图像伪造。
  3. 实验结果显示，ATAR在多个基准测试中表现优异，尤其在IMDL基准上显著超越现有的多模态模型，展现了其有效性。

📝 摘要（中文）

传统的图像伪造检测方法仅生成二元评分或像素级掩码，缺乏可解释的证据。近期基于多模态大语言模型的方法则是对预先确定的分类结果进行后验解释，而非从证据出发进行推理。受人类司法专家的法医工作流程启发，本文提出了Agentic Tool-Augmented Reasoning（ATAR）框架，整合了22种专业法医工具，能够通过多轮推理自主检测、定位和解释图像伪造。实验结果表明，ATAR在六个零样本IMDL基准上实现了78.5%的平均图像级F1分数，超越了最强的多模态大语言模型基线11.8个百分点，同时在其他任务中与专业检测器保持竞争力，并生成更为真实和扎实的解释。

🔬 方法详解

问题定义：本文旨在解决传统图像伪造检测方法缺乏可解释性和有效证据的问题。现有方法通常只提供二元分类结果或像素级掩码，无法深入分析伪造的具体特征。

核心思路：提出的ATAR框架通过整合22种专业法医工具，模拟人类法医专家的推理过程，采用多轮推理来检测、定位和解释图像伪造，提升了检测的准确性和可解释性。

技术框架：ATAR框架包含两个主要模块：高层语义异常路径和低层伪造伪影路径。前者放大可疑区域以进行细致检查，后者则调用法医工具提取客观证据。此外，框架还引入了法医课程学习，优化工具使用的推理过程。

关键创新：最重要的创新在于将多种法医工具与多轮推理相结合，形成了双流法医推理范式。这种设计使得模型不仅能检测伪造，还能提供基于证据的解释，与现有方法的单一输出形式形成鲜明对比。

关键设计：在训练过程中，采用了自动化的教师-学生指导管道，合成多轮工具使用推理轨迹。同时，在法医场景强化学习中，工具优先课程引导早期工具探索，逐步将控制权转移给智能体，结构化证据奖励则提供细粒度的过程级监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ATAR在六个零样本IMDL基准上达到了78.5%的平均图像级F1分数，超越了最强的多模态大语言模型基线11.8个百分点。同时，在深伪检测、DMDL和AIGC检测等任务中，ATAR仍然保持与专业检测器的竞争力，并生成更为真实的解释。

🎯 应用场景

该研究的潜在应用领域包括数字取证、社交媒体内容监控和新闻真实性验证等。通过提供可解释的伪造检测结果，能够帮助法医专家和普通用户更好地理解和信任检测结果，提升图像处理和分析的透明度。未来，该技术可能在法律、媒体和安全等多个领域产生深远影响。

📄 摘要（原文）

Conventional image forgery detection methods produce binary scores or pixel-level masks without interpretable evidence, while recent multimodal large language model (MLLM)-based approaches generate post-hoc explanations of predetermined classification results rather than reasoning from evidence. Inspired by the forensic workflow of human judicial experts, we propose Agentic Tool-Augmented Reasoning (ATAR), a framework integrating 22 specialized forensic tools across seven complementary domains to autonomously detect, localize, and explain image forgeries through multi-turn reasoning. A Dual-Stream Forensic Reasoning paradigm combines a high-level semantic anomaly path, which magnifies suspicious regions for fine-grained inspection, with a low-level forgery artifact path, which invokes forensic tools to extract objective evidence. We further introduce Forensics Curriculum Learning: during General Experience SFT, an automated teacher-student mentoring pipeline synthesizes multi-turn tool-usage reasoning trajectories; during Forensic Scene RL, a Tool Prior Curriculum guides early tool exploration and progressively transfers control to the agent, while a Structured Evidence Reward provides fine-grained process-level supervision. Experiments across IMDL, Deepfake detection, DMDL, and AIGC detection show that ATAR achieves 78.5% average image-level F1 on six zero-shot IMDL benchmarks, surpassing the strongest MLLM baseline by 11.8 percentage points, and remains competitive with specialized detectors on other tasks while producing substantially more faithful and grounded explanations.