An Agentic ENF Framework for Forensic Video Authentication Against Generative AI
作者: Ryan Wyton, Bacha Rehman
分类: cs.CR, cs.CV, cs.MM, eess.SP
发布日期: 2026-10-15
备注: 12 pages, 17 figures, 4 tables. Submitted to IEEE Transactions on Information Forensics and Security. Code and data: https://github.com/RyanSolent95/enf-video-forensics
💡 一句话要点
提出基于ENF框架的视频认证方法以应对生成式AI挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频认证 生成式AI 电网频率 法医分析 多模态检测 合成注入训练 信号处理
📋 核心要点
- 现有方法在处理生成模型合成视频时，容易受到未见过模型的影响，导致检测性能下降。
- 论文提出通过电网频率（ENF）信号进行视频认证，设计了双通道检测器和合成注入训练方法以提高检测准确性。
- 实验结果显示，检测器在真实录音上的准确率显著提升，且在时间和计算效率上均有显著改善。
📝 摘要（中文）
生成模型如今能够合成难以区分于真实视频的内容，而针对生成器伪影的检测器在未见过的模型上性能急剧下降。本文开发了一种法医框架，通过电网频率（ENF）这一生成过程无法控制的信号来认证视频。该框架包括一个统一的双通道检测器，从音频和滚动快门视频中提取ENF，采用合成注入训练方法克服标记ENF数据的稀缺性，并通过参考匹配通道验证录制时间。研究发现，生成视频中的ENF带闪烁与真实视频的表现难以区分，因此认证应基于与独立参考的一致性，而非仅仅依赖于其存在。实验表明，该检测器在真实录音上接受真实音频和视频的准确率分别为93%和100%。
🔬 方法详解
问题定义：论文要解决的问题是如何有效认证生成模型合成的视频，现有方法在面对新模型时性能下降，难以保证视频的真实性。
核心思路：论文的核心思路是利用电网频率（ENF）这一生成过程无法控制的信号进行视频认证，设计了双通道检测器以提取音频和视频中的ENF信息。
技术框架：整体架构包括一个统一的双通道检测器、合成注入训练方法、参考匹配通道和双轴代理协调器，确保在需要时才激活高成本检测器。
关键创新：最重要的技术创新点在于提出了基于ENF信号的认证方法，强调认证应基于与独立参考的一致性，而非仅依赖于ENF的存在。
关键设计：关键设计包括使用Ornstein-Uhlenbeck漂移模型进行合成注入训练，确保ENF数据的丰富性，以及通过共享网络提取音频和视频中的ENF信息。实验中，检测器在真实录音上表现出93%和100%的准确率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，检测器在真实录音上接受真实音频和视频的准确率分别达到93%和100%，相比于基线的53%和15%有显著提升。声明时间认证的曲线下面积达到1.0，代理级联方法在保持准确性的同时，减少了54%的计算时间和64%的解码帧数。
🎯 应用场景
该研究的潜在应用场景包括法医视频分析、网络安全和媒体真实性验证等领域。随着生成式AI技术的发展，能够有效鉴别视频的真实性将对维护信息安全和公众信任具有重要价值。未来，该框架可能扩展到其他多模态数据的认证和分析中。
📄 摘要（原文）
Generative models now synthesise video that is hard to distinguish from genuine footage, and learned detectors that key on a generator's artefacts degrade sharply on unseen models. This paper develops a forensic framework that authenticates video by a signal that generation does not control: the electric network frequency (ENF), the mains-driven hum in audio and flicker in video. A unified two-channel detector extracts the ENF from audio and from rolling-shutter video through one second harmonic estimator and a shared network; a synthetic-injection training method, driven by an Ornstein-Uhlenbeck drift model and anchored to real recordings, overcomes the scarcity of labelled ENF data; a reference-matching channel verifies a claimed time of recording and recovers an unknown one; and a two-axis agentic orchestrator fuses recording authenticity with content-manipulation evidence under an asymmetric rule, escalating expensive detectors only when needed. A central finding reframes the task: an ENF-band flicker is present in generated video at a prominence indistinguishable from real footage, so its presence is not proof of authenticity, and authentication must rest on consistency with an independent reference rather than on presence. On held-out real recordings the detector accepts genuine audio and video at 93% and 100% against naive baselines of 53% and 15%; claimed-time authentication reaches an area under the curve of 1.0; and the agentic cascade matches a flat ensemble while cutting wall-clock time by 54% and frames decoded by 64%, without loss of accuracy.