Unifying Semantic Priors and High-Frequency Traces: Enhancing V-JEPA with Mixture-of-Experts for Robust Synthetic Image Forensics

📄 arXiv: 2609.16778v1 📥 PDF

作者: Simone Teglia, Irene Amerini

分类: cs.CV

发布日期: 2026-09-15

备注: 10 pages, 2 figures. Code available at https://github.com/ALCOR-Lab-DIAG/MoE-JEPA

💡 一句话要点

提出MoE-JEPA以解决深度伪造图像检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度伪造检测 视觉变换器 联合嵌入预测架构 混合专家机制 图像取证 社交媒体安全 信息真实性

📋 核心要点

  1. 现有深度伪造检测方法在处理压缩或社交媒体传输图像时，无法有效区分真实与伪造内容。
  2. 本文提出MoE-JEPA模型，结合JEPA的世界理解能力和混合专家机制，增强深度伪造检测的鲁棒性。
  3. 在SID-Set基准上，MoE-JEPA实现了95.54%的准确率，超越了现有更大规模的模型，展示了显著的性能提升。

📝 摘要（中文）

随着社交媒体上伪造图像的泛滥，信息的真实性受到严重威胁。现有的深度伪造检测器主要依赖视觉变换器（ViTs）捕捉低级不一致性，但在图像压缩或传输的复杂场景中，单靠这些基础模型的全局理解不足以有效区分真实与伪造内容。本文首次将联合嵌入预测架构（JEPA）模型应用于深度伪造检测，提出MoE-JEPA双流架构，通过残差专家混合机制和噪声流分支，动态内化取证知识，并采用门控注意力多实例学习模块以确保精确的空间语义理解。经过在SID-Set基准上的评估，MoE-JEPA以95.54%的准确率建立了新的最先进水平，成功超越了更大规模的模型。

🔬 方法详解

问题定义：本文旨在解决深度伪造图像检测中的准确性不足问题，尤其是在图像经过压缩或社交媒体传输后，现有方法难以有效区分真实与伪造内容。

核心思路：论文提出MoE-JEPA模型，通过结合JEPA模型的内在世界理解能力和混合专家机制，动态内化取证知识，从而提高检测的鲁棒性和准确性。

技术框架：MoE-JEPA采用双流架构，主要包括V-JEPA 2主干网络、残差混合专家机制和噪声流分支，同时引入门控注意力多实例学习模块，以确保对空间语义的精准理解。

关键创新：最重要的技术创新在于将JEPA模型与混合专家机制相结合，形成了新的双流架构，显著提升了深度伪造检测的性能，尤其是在复杂场景下的表现。

关键设计：模型设计中，采用了残差混合专家机制以增强特征提取能力，并通过门控注意力机制优化了空间语义理解，确保了模型在多样化输入下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SID-Set基准测试中，MoE-JEPA模型以95.54%的准确率创下新纪录，显著超越了现有更大规模模型的表现，展示了其在深度伪造检测中的强大能力和优势。

🎯 应用场景

该研究在深度伪造检测领域具有广泛的应用潜力，能够为社交媒体平台、新闻机构和法律执法提供有效的工具，以维护信息的真实性和公众信任。未来，随着伪造技术的不断演进，MoE-JEPA模型的应用将有助于提升对抗深度伪造内容的能力，保护信息安全。

📄 摘要（原文）

The unchecked proliferation of manipulated images on social media platforms has increased the spread of misinformation, posing a severe threat to public trust and information integrity. Modern deepfake detectors typically rely on Vision Transformers (ViTs) to capture the low-level inconsistencies that characterize fully synthetic or locally tampered images. However, the global understanding of such foundation models is not enough to discriminate alone between real and fake multimedia content, especially in challenging scenarios where images are compressed or transmitted through social media. In this paper we pioneer the application of Joint-Embedding Predictive Architecture (JEPA) models to deepfake detection, taking advantage of the generalized representation of visual reality that such World Models have exhibited. We hypothesize, and empirically demonstrate, that the intrinsic world understanding of JEPA models can be used as a strong prior for a deepfake detector. To fully exploit JEPA capabilities, we propose MoE-JEPA, a dual-stream architecture for deepfake detection. By enhancing a V-JEPA 2 backbone with a Residual Mixture-of-Experts (MoE) mechanism, along with a noise stream branch, our model dynamically internalizes forensic knowledge. Furthermore, a Gated Attention Multiple Instance Learning (MIL) module is employed to ensure precise spatial semantic understanding. Evaluated on the SID-Set benchmark, comprising 300K AI-generated, tampered and authentic images, MoE-JEPA establishes a new state-of-the-art with an accuracy of 95.54%, successfully outperforming vastly larger models.