Do Input-Level Defenses Transfer to Observation-Level Attacks on VideoLLMs?
作者: Bangshuo Zhu, Wei Song, Yuxin Cao, Yuezhong Wu, Zhiquan Liu, Yuekang Li, Jingling Xue
分类: cs.CV, cs.CR
发布日期: 2026-09-08
备注: Preprint. Under review at IEEE Transactions on Dependable and Secure Computing. 13 pages, 1 figure, 6 tables
💡 一句话要点
提出DefTEval框架以评估视频LLMs对观察级攻击的防御能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频大型语言模型 观察级攻击 输入级防御 系统级鲁棒性 模态融合 内容审核 视频分析
📋 核心要点
- 现有输入级防御方法在应对观察级攻击时效果有限，导致有害内容检测率接近零。
- 提出DefTEval框架，系统评估输入级防御对观察级攻击的缓解能力，探索防御与攻击之间的关系。
- 实验结果显示，防御效果受模型架构主导，且在不同内容类别中检测率差异显著，揭示了时间推理的结构性弱点。
📝 摘要（中文）
视频大型语言模型（VideoLLMs）在内容审核和视频分析等安全关键应用中日益普及。为高效处理长视频，VideoLLMs依赖于帧采样、令牌压缩和模态融合等观察管道。然而，近期的观察级攻击利用这一管道阻止模型感知有害内容，且尚未针对该威胁设计防御措施。本文提出DefTEval，一个系统评估输入级对抗防御是否能缓解观察级攻击的框架。研究发现，输入级防御提供的保护有限且不一致，检测率常接近零，表明防御的瓶颈不仅在于采样遗漏，还在于对已进入模型的信号的抑制。这些发现表明，确保VideoLLMs的安全性需要跨越采样、令牌和模态的系统级鲁棒性机制。
🔬 方法详解
问题定义：本文旨在解决输入级防御在应对观察级攻击时的有效性不足问题。现有方法未能有效防止模型对有害内容的感知，导致检测率低下。
核心思路：通过引入DefTEval框架，系统评估输入级防御在观察级攻击中的表现，探索防御机制与攻击策略之间的互动关系。
技术框架：DefTEval框架包括对五种VideoLLMs的评估，结合十一种代表性防御方法和五种攻击类型，形成全面的实验设计。
关键创新：本文的主要创新在于揭示输入级防御在观察级攻击中的局限性，强调模型架构对防御效果的主导作用，并提出系统级的安全机制需求。
关键设计：在实验中，采用多种输入级防御方法，评估其在不同攻击场景下的表现，关注令牌压缩和模态融合对信号抑制的影响。具体参数设置和网络结构细节在实验中进行了详细记录。
🖼️ 关键图片
📊 实验亮点
实验结果表明，输入级防御在应对观察级攻击时效果不佳，检测率常接近零，尤其是在攻击信号嵌入每个采样帧的情况下。不同内容类别的检测率差异显著，揭示了时间推理的结构性弱点，强调了系统级防御机制的重要性。
🎯 应用场景
该研究的潜在应用领域包括视频内容审核、社交媒体平台的安全监控以及自动化视频分析系统。通过提高VideoLLMs对有害内容的检测能力，能够有效提升这些系统在安全关键应用中的可靠性和鲁棒性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Video Large Language Models (VideoLLMs) are increasingly deployed in safety-critical applications such as content moderation and video analytics. To process long videos efficiently, VideoLLMs rely on frame sampling, token compression, and modality fusion, which together form an observation pipeline that reduces the raw video to a compact internal representation. Recent observation-level attacks exploit this pipeline to prevent the model from perceiving harmful content, yet no defense has been explicitly designed for this threat. We introduce DefTEval, a controlled evaluation framework that systematically assesses whether input-level adversarial defenses, which operate on the pixel content of already-sampled frames, can mitigate observation-level attacks. Across five VideoLLMs, eleven representative defenses, and five attack types, we find that input-level defenses offer limited and inconsistent protection, with harmful detection rates frequently near zero. Critically, defenses fail even against attacks that embed harmful signals in every sampled frame, indicating that the bottleneck extends beyond sampling omission to the suppression of signals that do enter the model. Token compression discards localized features, and modality fusion systematically down-weights weakened visual signals. Furthermore, defense effectiveness is dominated by model architecture rather than by the defense method itself, and detection rates vary drastically across content categories, exposing structural weaknesses in temporal reasoning. These findings demonstrate that securing VideoLLMs requires system-level robustness mechanisms spanning sampling-aware coverage guarantees, token-level preservation of safety-relevant features, and modality-balanced fusion.