TAPDreamer: Transferable Adversarial Patches for World Action Models

📄 arXiv: 2610.06814v1 📥 PDF

作者: Xuanyu Lu, Fengqing Jiang, Kaiyuan Zheng, Yichen Feng, Yaorui Ding, Yuetai Li, Zhen Xiang, Bhaskar Ramasubramanian, Basel Alomair, Luyao Niu, Radha Poovendran

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-10-05

备注: Project Page: https://tapdreamer.github.io

💡 一句话要点

提出TAPDreamer以解决世界动作模型的视觉输入脆弱性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 对抗攻击 视觉输入 机器人控制 局部扰动 编码器 任务转移 鲁棒性

📋 核心要点

  1. 现有的世界动作模型依赖于摄像头输入，容易受到视觉扰动的影响，导致任务性能下降。
  2. TAPDreamer提出了一种新颖的攻击方法，仅依赖公共编码器生成可转移的局部扰动，避免了对目标模型的依赖。
  3. 实验结果显示，使用TAPDreamer的扰动可以将多个基准任务的成功率降低至接近零，验证了其有效性。

📝 摘要（中文）

世界模型通过预测环境演变来为通用机器人控制提供基础。然而，现有的世界动作模型依赖于摄像头输入，其操控可能会破坏视觉表示，影响任务和动作策略。现有攻击方法需要访问目标模型的输出，而TAPDreamer则仅使用公共编码器构建可转移的局部扰动，无需目标策略查询。该方法通过最大化干净与扰动编码器表示之间的全局L1距离，显著降低了多个基准任务的成功率，表明仅保护下游动作生成是不够的，必须同时保障共享视觉编码器的安全。

🔬 方法详解

问题定义：论文要解决的问题是现有世界动作模型在视觉输入受到扰动时的脆弱性。现有攻击方法需要访问目标模型的输出，限制了其应用范围。

核心思路：TAPDreamer的核心思路是利用公共编码器构建固定的局部扰动，通过干扰注意力权重和价值向量之间的交互，产生超出扰动范围的视觉表示变化。

技术框架：整体架构包括使用六帧来自源任务的输入，通过最大化干净与扰动编码器表示之间的全局L1距离来生成扰动。该方法不需要目标策略查询，简化了攻击过程。

关键创新：TAPDreamer的创新在于其不依赖于目标模型的输出，而是通过公共编码器生成可转移的扰动，这与现有方法形成了本质区别。

关键设计：关键设计包括扰动的局部性和稳定性，确保在不同任务观察中保持一致的表示变化。此外，实验中使用的损失函数和参数设置经过精心设计，以最大化扰动效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用TAPDreamer生成的扰动在多个基准任务中显著降低了成功率，例如在40个LIBERO任务中，从97.7%降至0.0%，在50个RoboTwin任务中，从90.8%降至0.0%。这些结果表明，现有防御措施不足以保护世界动作模型的视觉编码器。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等。通过增强世界动作模型的鲁棒性，TAPDreamer可以帮助提升这些系统在复杂环境中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models learn to predict how their environment will evolve, making them an important foundation for general-purpose robotic control. Yet world action models depend on camera inputs whose manipulation can corrupt the visual representations used across tasks and action policies. Existing attacks on these models optimize against the victim's actions or predicted futures and therefore require access to target-model outputs. In this paper, we propose an attack, TAPDreamer, against world action models that instead uses a public encoder alone to construct a fixed local perturbation that transfers across tasks and action architectures. TAPDreamer requires no target-policy queries. Our key insight is that interactions between patch-induced changes in attention weights and value vectors broadcast a nearly identical representation shift far beyond the patch footprint, and this shift remains stable across task observations. Guided by this insight, TAPDreamer uses six frames from one source task to maximize the global L1 distance between clean and patched encoder representations. In closed-loop evaluation, one frozen patch per benchmark, covering about 6.5% of the input, reduces FastWAM's success rate from 97.7% to 0.0% across 40 LIBERO tasks and from 90.8% to 0.0% across 50 RoboTwin tasks; matched random patches retain 81.5% and 79.2% success. The same patches reduce success to 2.1% and 0.8% on two DreamWAM configurations and to 10.0% on Motus. These results show that protecting downstream action generation alone is insufficient: defenses for world action models must also secure shared visual encoders against persistent local perturbations.