Targeting World Models to Compromise Robot Learning Pipelines
作者: Ethan Rathbun, Ahmed Agha, Saaduddin Mahmud, Christopher Amato, Alina Oprea, Eugene Bagdasarian
分类: cs.RO, cs.AI, cs.CR
发布日期: 2026-06-08
备注: 8 Pages, CoRL Preprint
💡 一句话要点
提出针对世界模型的数据中毒攻击以解决机器人学习安全问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界模型 数据中毒 机器人学习 安全性评估 深度强化学习 恶意提示 隐蔽攻击
📋 核心要点
- 现有的世界模型在机器人学习中引入了数据中毒的隐患，可能导致不安全的机器人策略。
- 论文提出了一种新颖的攻击方法，通过在安全数据集中注入恶意提示，激活潜在的危险行为。
- 实验结果表明，该攻击方法在多种世界模型上有效，能够生成危险的训练轨迹，影响下游策略的安全性。
📝 摘要（中文）
世界模型近年来在生成机器人训练数据和模拟现实环境方面得到了快速发展，然而本研究表明，世界模型为机器人学习供应链引入了一种隐蔽且有效的数据中毒攻击途径。这种攻击方法通过在看似安全的遥操作数据集中注入恶意提示或妨碍过渡动态，导致生成合成的危险机器人训练轨迹，从而可能部署不安全或受损的机器人策略。我们展示了这种攻击在最先进的动作条件和文本条件世界模型上的有效性，并提供了下游深度强化学习策略的完整后门示例。总体而言，这些发现促使对更安全的世界模型进行研究，并重新评估其在机器人学习供应链中的位置。
🔬 方法详解
问题定义：本研究旨在解决世界模型在机器人学习中引入的数据中毒风险。现有方法直接在数据集中植入危险轨迹，缺乏隐蔽性，容易被检测。
核心思路：论文的核心思路是通过注入恶意提示或妨碍过渡动态，利用世界模型的输入特性，在看似安全的数据中激活潜在的危险行为。这样设计的目的是为了提高攻击的隐蔽性和有效性。
技术框架：整体架构包括数据集构建、恶意提示注入、世界模型训练和下游策略评估四个主要模块。首先构建安全的遥操作数据集，然后在其中注入恶意提示，接着训练世界模型，最后评估生成的策略。
关键创新：最重要的技术创新在于提出了一种隐蔽的数据中毒方法，能够在安全数据集中注入恶意内容，而不是直接植入危险轨迹。这一方法与传统数据中毒技术本质上不同，具有更高的隐蔽性。
关键设计：在参数设置上，选择了适合的恶意提示强度和过渡动态设计，损失函数采用了针对生成轨迹安全性的评估标准，网络结构则基于现有的动作条件和文本条件世界模型进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该攻击方法在多个世界模型上均表现出色，成功生成了危险的训练轨迹，导致下游深度强化学习策略的安全性显著下降。这一发现强调了世界模型在机器人学习中的潜在风险，呼吁对其安全性进行深入研究。
🎯 应用场景
该研究的潜在应用领域包括机器人安全性评估、智能制造和自动驾驶等。通过识别和防范数据中毒攻击，可以提升机器人学习系统的安全性和可靠性，确保在复杂环境中的安全操作。未来，研究成果将推动更安全的世界模型设计和机器人学习框架的构建。
📄 摘要（原文）
World models have recently seen a rapid growth in both their popularity and capability as more data efficient tools for generating robot training data or simulating real world environments, with many works proposing their integration into the robot learning pipeline. While highly practical, in this work we demonstrate that world models introduce a uniquely stealthy and effective data poisoning entry point into the robot learning supply chain that can result in the deployment of unsafe or otherwise compromised robotic policies despite training on seemingly safe ground truth training data. In contrast to traditional data poisoning techniques which directly implant dangerous trajectories into sold or uploaded datasets, our novel attack methods inject malicious prompts or compromising transition dynamics into visibly safe teleoperated datasets which are only activated once fed through a world model as input. This can result in the generation of synthetic, dangerous robot training trajectories and subsequently unsafe or compromised robot policies. We demonstrate the effectiveness of our attacks against both state of the art action conditioned and text conditioned world models, showing a full end-to-end backdoor on a downstream DRL policy and a proof-of-concept for the VLA setting. Overall these findings necessitate research into more secure world models and reevaluating their position within the robot learning supply chain.