AgentFoX: LLM Agent-Guided Fusion with eXplainability for AI-Generated Image Detection
作者: Yangxin Yu, Yue Zhou, Bin Li, Kaiqing Lin, Haodong Li, Jiangqun Ni, Bo Cao
分类: cs.CV
发布日期: 2026-03-24
💡 一句话要点
AgentFoX:基于LLM Agent引导的AI生成图像检测与可解释性融合框架
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: AI生成图像检测 大型语言模型 Agent 可解释性 知识库 多模态融合 数字取证
📋 核心要点
- 现有AIGI检测器依赖特定伪造痕迹,泛化性差,且结果可能冲突。
- AgentFoX利用LLM Agent,结合专家知识库,进行多阶段分析和证据融合。
- AgentFoX生成可解释的取证报告,提升了检测结果的可信度和实用性。
📝 摘要(中文)
AI生成图像(AIGI)的逼真度日益提高,迫切需要可靠的工具来区分合成内容和真实图像。现有的检测器通常针对特定的伪造痕迹(如频域模式或语义不一致性),导致性能专门化,有时甚至产生冲突的判断。为了解决这些限制,我们提出了AgentFoX,这是一个由大型语言模型驱动的框架,它将AIGI检测重新定义为一个动态的、多阶段的分析过程。我们的方法采用快速集成融合机制,该机制由包含校准的专家配置文件和上下文聚类配置文件的精选知识库指导。在推理过程中,Agent首先进行高层次的语义评估,然后过渡到细粒度的、上下文感知的信号级专家证据的综合,通过结构化推理解决矛盾。AgentFoX不返回粗略的二元输出,而是生成详细的、人类可读的取证报告,以证实其结论,从而提高实际部署的可解释性和可信度。除了提供一种新颖的检测解决方案外,这项工作还引入了一种可扩展的代理范式,该范式有助于智能集成未来和不断发展的取证工具。
🔬 方法详解
问题定义:当前AI生成图像检测方法通常针对特定类型的伪造痕迹,例如频域伪影或语义不一致性,缺乏通用性和鲁棒性。不同检测器之间可能产生冲突的判断,难以有效应用于实际场景。因此,需要一种能够综合多种证据并提供可解释结果的AIGI检测方法。
核心思路:AgentFoX的核心思路是将AIGI检测过程建模为一个由LLM Agent驱动的多阶段分析过程。Agent利用预定义的专家知识库,动态地选择和集成不同的检测模块,并通过结构化推理来解决不同模块之间的冲突,最终生成可解释的检测报告。这种方法旨在模仿人类专家进行图像鉴定的过程,从而提高检测的准确性和可信度。
技术框架:AgentFoX的整体框架包含以下几个主要模块:1) 知识库:包含校准的专家配置文件和上下文聚类配置文件,用于指导Agent的推理过程。2) LLM Agent:负责协调和控制整个检测流程,包括语义评估、证据收集、冲突解决和报告生成。3) 专家模块:包含各种AIGI检测器,例如频域分析器、语义一致性检查器等。4) 融合机制:用于将不同专家模块的输出进行融合,生成最终的检测结果。Agent首先进行高层次的语义评估,然后根据评估结果选择合适的专家模块进行细粒度的分析,最后通过融合机制生成可解释的取证报告。
关键创新:AgentFoX的关键创新在于将LLM Agent引入到AIGI检测领域,并将其作为整个检测流程的协调者和决策者。与传统的静态检测方法相比,AgentFoX能够根据图像的内容和上下文动态地选择和集成不同的检测模块,从而提高检测的鲁棒性和泛化性。此外,AgentFoX还能够生成可解释的取证报告,从而提高检测结果的可信度。
关键设计:AgentFoX的关键设计包括:1) 专家知识库的构建:通过对现有AIGI检测器的性能进行校准,构建包含专家配置文件和上下文聚类配置文件的知识库。2) LLM Agent的prompt设计:设计合适的prompt,引导Agent进行多阶段分析和证据融合。3) 融合机制的设计:设计有效的融合机制,将不同专家模块的输出进行融合,并解决模块之间的冲突。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述,属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文提出了AgentFoX框架,通过LLM Agent引导的多阶段分析和证据融合,提高了AI生成图像检测的准确性和可解释性。具体实验数据和对比基线在摘要中未提及,性能提升幅度未知。该框架的创新性在于将LLM Agent引入到AIGI检测领域,并生成可解释的取证报告。
🎯 应用场景
AgentFoX可应用于数字取证、版权保护、社交媒体内容审核等领域。它可以帮助识别和标记AI生成的虚假图像,防止恶意传播和滥用。该研究为未来开发更智能、更可信的AI生成内容检测工具奠定了基础,有助于维护网络空间的健康和安全。
📄 摘要(原文)
The increasing realism of AI-Generated Images (AIGI) has created an urgent need for forensic tools capable of reliably distinguishing synthetic content from authentic imagery. Existing detectors are typically tailored to specific forgery artifacts--such as frequency-domain patterns or semantic inconsistencies--leading to specialized performance and, at times, conflicting judgments. To address these limitations, we present \textbf{AgentFoX}, a Large Language Model-driven framework that redefines AIGI detection as a dynamic, multi-phase analytical process. Our approach employs a quick-integration fusion mechanism guided by a curated knowledge base comprising calibrated Expert Profiles and contextual Clustering Profiles. During inference, the agent begins with high-level semantic assessment, then transitions to fine-grained, context-aware synthesis of signal-level expert evidence, resolving contradictions through structured reasoning. Instead of returning a coarse binary output, AgentFoX produces a detailed, human-readable forensic report that substantiates its verdict, enhancing interpretability and trustworthiness for real-world deployment. Beyond providing a novel detection solution, this work introduces a scalable agentic paradigm that facilitates intelligent integration of future and evolving forensic tools.