Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies
作者: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu
分类: cs.RO, cs.AI
发布日期: 2026-06-09
💡 一句话要点
提出TAKO以解决机器人视觉政策的对抗性劫持问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对抗性攻击 机器人政策 视觉编码 扩散推理 实时操控 补丁学习 智能控制
📋 核心要点
- 现有方法主要集中在干扰观察流，以降低任务成功率或引发不稳定行为，未能有效应对对抗性劫持。
- 论文提出TAKO，通过实时操控冻结的机器人政策，利用可微分扩散推理学习可重用的补丁，实现对机器人行为的远程操控。
- 在四个不同的任务中，使用两种视觉编码器和三种生成推理方法，人工操作员在攻击者定义的目标上实现了100%的劫持成功率。
📝 摘要（中文）
基于扩散的动作生成已成为具身人工智能的基础组成部分，但其对视觉条件的依赖使得已部署的视觉运动政策易受到对抗性操控。本文研究了一种更强的威胁——测试时对抗性劫持（TAKO），攻击者通过实时操控冻结的机器人政策，将其转变为远程操控的工具。TAKO通过可微分的扩散推理学习一小组可重用的通用补丁，在测试时攻击者在摄像头流中切换这些补丁，以组合攻击者选择的轨迹。实验表明，在四个任务中，人工操作员在每个评估设置中均实现了100%的劫持成功率。
🔬 方法详解
问题定义：本文旨在解决现有机器人视觉政策在面对对抗性操控时的脆弱性，现有方法多集中于干扰而非劫持，无法有效应对复杂的攻击场景。
核心思路：TAKO的核心思路是通过学习可重用的视觉补丁，在测试时实时操控机器人政策，从而使攻击者能够选择并控制机器人的行为轨迹。
技术框架：整体架构包括补丁学习模块和实时操控模块。补丁学习模块通过可微分的扩散推理生成补丁，而实时操控模块则在测试时根据攻击者的需求切换补丁。
关键创新：最重要的技术创新在于通过视觉补丁的切换实现对机器人政策的实时劫持，这一方法与传统的干扰性攻击有本质区别，后者主要是降低任务成功率而非直接操控。
关键设计：关键设计包括补丁的选择策略、损失函数的优化，以及视觉编码器的选择（如ResNet-18和EfficientNet-B0 + Transformer），确保在不同任务中均能实现高效的劫持。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在四个不同的任务中，人工操作员在攻击者定义的目标上实现了100%的劫持成功率，显著优于自然目标基线，表明TAKO在对抗性操控中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、无人机导航和自动驾驶等场景，能够帮助开发更安全的视觉运动政策，防止对抗性攻击带来的风险。未来，TAKO的技术可以扩展到其他领域，如智能家居和工业自动化，提升系统的安全性和可靠性。
📄 摘要（原文）
Diffusion-based action generation has become a foundational component of embodied AI, but its reliance on visual conditioning leaves deployed visuomotor policies vulnerable to adversarial manipulation. Most prior attacks focus on disruption: they perturb the observation stream to reduce task success or induce erratic behavior. We study a stronger threat, Test-time Adversarial Takeover (TAKO), in which an attacker obtains a real-time steering interface over a frozen robot policy and turns it into a remotely piloted instrument. TAKO learns a small vocabulary of reusable universal patches through differentiable diffusion inference; at test time, the attacker switches among these patches in the camera stream to compose attacker-chosen trajectories. This works because the perturbation acts on the visual conditioning pathway, where the induced bias can persist through iterative generative inference. We further show that the natural targeted baseline, target-policy matching, fails because the victim policy cannot reliably supervise itself on out-of-distribution target shifts. Across four tasks (2D manipulation, simulated aerial delivery, simulated ground navigation, and physical-world ground navigation), two visual encoders (ResNet-18 and EfficientNet-B0 + Transformer), and three generative inference families (DDPM, DDIM, and flow matching), human operators achieve 100\% takeover success on attacker-defined objectives in every evaluated setting. The project page is available at https://tako-attack.github.io.