DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization

📄 arXiv: 2610.18609v1 📥 PDF

作者: Chengtao Jian, Kai Yang

分类: cs.CR, cs.AI, cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出DPOison-VL以解决多模态偏好数据安全问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 偏好优化 安全性 图像扰动 攻击成功率 模型对齐 深度学习

📋 核心要点

  1. 现有的偏好中毒攻击方法要么损坏显式监督信号，要么依赖可见触发器，容易被检测，存在安全隐患。
  2. DPOison-VL通过对少量训练图像施加不可察觉的扰动，提出了一种新的干净偏好中毒攻击方法，保持了数据的语义完整性。
  3. 实验结果显示，DPOison-VL在仅使用2%中毒数据的情况下，攻击成功率高达98%，并且具有良好的跨模型迁移性。

📝 摘要（中文）

直接偏好优化（DPO）已成为对齐视觉-语言模型（VLMs）的广泛采用的方法，但多模态偏好数据的安全性仍然未得到充分探索。现有的偏好中毒攻击要么破坏显式监督信号，要么需要可见触发器，容易被人类检测。我们提出了DPOison-VL，这是针对VLM-DPO的首个干净偏好中毒攻击，通过对少量训练图像施加不可察觉的扰动，操控模型对齐，同时保持所有提示、响应和偏好注释的语义完整。我们将中毒构造形式化为双层优化，并推导出一个梯度对齐替代方案，有效引导图像扰动朝向攻击者指定的偏好。实验结果表明，DPOison-VL在仅使用2%的中毒数据时，达到了高达98%的攻击成功率，并展现出跨模型的可迁移性，同时在很大程度上保持了干净准确性和通用性。

🔬 方法详解

问题定义：本论文旨在解决多模态偏好数据的安全性问题，现有方法在偏好中毒攻击中存在显著的可检测性和有效性不足。

核心思路：DPOison-VL通过对少量训练图像施加不可察觉的扰动来操控模型对齐，避免了传统方法的显式信号损坏和可见触发器的使用。

技术框架：该方法采用双层优化框架，首先构造中毒样本，然后通过梯度对齐替代方案引导图像扰动，确保其朝向指定的偏好。

关键创新：DPOison-VL的创新在于其干净偏好中毒攻击的设计，能够在不破坏数据语义的情况下有效操控模型对齐，显著提升了攻击的隐蔽性和有效性。

关键设计：论文中引入了偏好位移评分用于中毒样本选择，并推导出在固定中毒预算下的首阶最优性条件，确保了中毒样本的有效性和攻击成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DPOison-VL在多种攻击任务和不同VLM架构上进行了广泛实验，结果显示其在仅使用2%中毒数据的情况下，攻击成功率高达98%。此外，该方法展现出良好的跨模型迁移性，同时在保持干净准确性和通用性方面表现优异。

🎯 应用场景

DPOison-VL的研究成果在多模态学习和安全性领域具有广泛的应用潜力，尤其是在需要保护模型免受恶意攻击的场景中，如自动驾驶、智能监控和人机交互等。其方法可以为提升模型的鲁棒性和安全性提供新的思路和技术支持。

📄 摘要（原文）

Direct Preference Optimization (DPO) has become a widely adopted approach for aligning vision-language models (VLMs), yet the security of multimodal preference data remains largely unexplored. Existing preference poisoning attacks either corrupt explicit supervision signals or require visible triggers, making them detectable under human inspection. We introduce DPOison-VL, the first clean preference poisoning attack against VLM-DPO, which manipulates model alignment solely through imperceptible perturbations on a small fraction of training images, while leaving all prompts, responses, and preference annotations semantically intact. We formulate poison construction as a bilevel optimization and derive a gradient alignment surrogate that efficiently steers image perturbations toward the attacker-specified preference. We further introduce a preference displacement score for principled poison selection with provable first-order optimality under a fixed poison budget, and derive a sufficient condition for preference inversion. Extensive experiments across diverse attack tasks, different VLM architectures and scales, and baseline comparisons demonstrate that DPOison-VL achieves up to 98\% ASR with only 2\% poisoned data and exhibits cross-model transferability, while largely preserving clean accuracy and general utility. Our findings reveal a critical vulnerability in VLM-DPO, where imperceptible image perturbations in preference training data can silently redirect alignment.