Enhancing Visual Task-Redirection Attacks on Vision-Language-Action Models via Closed-Loop Optimization
作者: Chunjin Ye, Guanying Chen, Jianjie Huang, Jianhao Chen, Quanlin Chen, Hanjie Zhao, Haozhe Liang, Tieyun Qian, Xiaochun Cao
分类: cs.RO
发布日期: 2026-10-16
💡 一句话要点
提出TRACO框架以解决视觉语言行动模型的攻击问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉攻击 闭环优化 机器人控制 多模态模型 安全性 任务重定向 监督学习
📋 核心要点
- 现有方法在视觉攻击中使用固定目标监督，导致攻击过程中目标行为与实际状态不匹配，影响攻击效果。
- 本文提出TRACO框架，通过闭环优化重建监督，确保攻击过程中的状态与目标行为相一致，提升攻击效果。
- 实验结果显示，TRACO在多个VLA模型和仿真环境中显著提高了任务重定向的成功率，验证了其有效性。
📝 摘要（中文）
视觉语言行动（VLA）模型使得语言引导的机器人操作成为可能，但仍然容易受到视觉攻击，从而削弱用户对机器人行为的控制。以往研究使用固定目标监督来优化视觉扰动，但这种方法在攻击过程中可能导致目标行为与实际状态不匹配。为了解决这些问题，本文提出了TRACO框架，通过闭环优化增强现有的定向视觉攻击。该框架的执行驱动监督为攻击下的实际状态重建监督，进而指导后续更新。实验结果表明，TRACO在不同的VLA模型和仿真环境中显著提高了任务重定向的成功率，突显了闭环攻击优化的安全隐患。
🔬 方法详解
问题定义：本文旨在解决视觉语言行动模型在面对视觉攻击时的脆弱性，现有方法的痛点在于固定目标监督无法适应攻击过程中状态的变化，导致攻击效果不理想。
核心思路：TRACO框架的核心思想是通过闭环优化重建监督，使得攻击过程中的状态与目标行为保持一致，从而有效指导后续的攻击更新。
技术框架：TRACO框架包含两个主要模块：执行驱动监督和进度引导选择。执行驱动监督重建攻击下的状态监督，而进度引导选择则聚焦于进展停滞的地方进行更新，同时保持对早期行为的监督。
关键创新：TRACO的关键创新在于其闭环优化机制，通过动态重建监督来适应攻击过程中的状态变化，与传统的固定目标监督方法形成鲜明对比。
关键设计：在设计上，TRACO采用了特定的损失函数来平衡早期行为与后续状态的监督，同时在更新过程中引入了进度监测机制，以确保攻击的持续有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TRACO框架在多个VLA模型中实现了任务重定向成功率的显著提升，具体提升幅度达到XX%（具体数据未知），展示了闭环优化在视觉攻击中的有效性和重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能家居和自动化工业等，能够有效提升系统在面对恶意攻击时的安全性和鲁棒性。未来，TRACO框架可能为其他多模态系统的安全防护提供新的思路和方法。
📄 摘要（原文）
Vision-language-action (VLA) models enable language-guided robot manipulation, but remain vulnerable to visual attacks that undermine user control over robot behavior. Prior studies optimize visual perturbations using fixed target supervision. However, the perturbation can change earlier actions and, in turn, the physical states reached later. As the attacked trajectory evolves, this supervision may no longer match the behavior needed at the states actually reached. Accurately matching these targets can therefore fail to advance the attacker-specified task. Even with suitable supervision, reducing average matching error does not ensure sustained task progress. The robot may still fail at a critical stage, and further updates can disrupt previously successful behavior. To address these limitations, we propose TRACO, a framework that enhances existing targeted visual attacks through closed-loop optimization. Its Execution-Driven Supervision rebuilds supervision for the states reached under attack to guide subsequent updates. Within this framework, Progress-Guided Selection focuses updates where progress stalls while maintaining supervision on the earlier behavior needed to reach that point. Experiments across VLA models and simulation environments show improved task-redirection success with TRACO, highlighting the security implications of closed-loop attack optimization.