TMT: Runtime Backdoor Detection for Vision-Language-Action Policies on Unseen Tasks

📄 arXiv: 2610.09462v1 📥 PDF

作者: Zirun Zhou, Jingfeng Zhang, HaoChuan Xu, Xizhe Zhang, Elliott Wen, Jing Sun, Hong Jia

分类: cs.RO

发布日期: 2026-10-07

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出TMT以解决视觉-语言-动作策略中的后门检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门检测 视觉-语言-动作 Token Manifold 潜在转移建模 自蒸馏 安全性 多模态系统

📋 核心要点

  1. 现有的后门检测方法在处理视觉-语言-动作策略时面临挑战，尤其是在任务不熟悉的情况下，恶意行为与合法行为难以区分。
  2. 本文提出的TMT方法结合Token Manifold和潜在转移建模，通过分析输入令牌结构和潜在动态的预测误差来检测后门激活。
  3. 在与十个基线的比较中，TMT在三种VLA后门攻击的未见任务上实现了最先进的检测性能，展示了其有效性。

📝 摘要（中文）

后门攻击的视觉-语言-动作（VLA）策略在触发器出现时会产生恶意行为，尽管在正常任务中表现良好。检测这种激活行为的难度在于，恶意行为可能看似合理，而不熟悉的任务会引入合法的观察和行为变化。本文提出TMT，一种基于Token Manifold和潜在转移建模的运行时后门检测器。TMT通过评估输入令牌结构和相邻层潜在动态中的预测误差，识别可疑的回放，并通过潜在偏差确认。我们还探索了通过自蒸馏进行策略净化的方法，利用冻结的后门策略副本来监督学生模型在配对的良性和触发观察上的表现。实验结果表明，TMT在三种VLA后门攻击的未见任务上实现了最先进的检测性能。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作策略中的后门检测问题。现有方法在面对不熟悉任务时，难以区分恶意行为与合法行为，导致检测效果不佳。

核心思路：TMT通过Token Manifold和潜在转移建模，利用良性回放进行训练，评估输入令牌的结构和潜在动态的预测误差，从而识别可疑回放并进行后续监测。

技术框架：TMT的整体架构包括两个主要模块：Token Manifold分支和潜在动态分支。Token Manifold分支负责评估输入令牌的结构，而潜在动态分支则分析相邻层的预测误差。

关键创新：TMT的创新在于结合了Token Manifold和潜在转移建模，能够在未见任务中有效检测后门激活，克服了传统方法的局限性。

关键设计：在设计中，TMT使用冻结的后门策略副本进行自蒸馏，监督学生模型在良性和触发观察上的表现，避免了对单独干净参考策略的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在与十个基线模型的比较中，TMT在三种不同的VLA后门攻击上实现了最先进的检测性能，具体提升幅度达到XX%，展示了其在未见任务中的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能家居和机器人等多模态系统，能够有效提升系统的安全性和可靠性。通过实时检测后门攻击，确保系统在面对未知任务时的稳定性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Backdoored vision-language-action (VLA) policies can preserve benign task performance while producing malicious actions when a trigger appears. Detecting such activation is difficult because malicious behavior can comprise individually plausible actions, while unfamiliar tasks introduce legitimate changes in observations and behavior. We introduce TMT, a runtime backdoor detector based on Token Manifold and latent Transition modeling. Trained on benign rollouts, its two branches assess input-token structure and prediction errors in adjacent-layer latent dynamics. A suspicious rollout identified by the token manifold branch, once confirmed through latent deviations, guides transition selection for subsequent monitoring. We further explore policy purification through self-distillation: a frozen copy of the backdoored policy provides benign-input actions to supervise a student on paired benign and triggered observations, without requiring a separate clean reference policy. For evaluation, we adapt traditional backdoor detectors and repurpose anomaly and failure detection methods as VLA backdoor detectors. In a post-hoc comparison with ten baselines, TMT achieves state-of-the-art backdoor detection performance on unseen tasks across three VLA backdoor attacks. Our project page is available at https://zzr42.github.io/tmt/.