Robo-Troj: Attacking LLM-based Task Planners

📄 arXiv: 2504.17070v2 📥 PDF

作者: Mohaiminul Al Nahian, Zainab Altaweel, David Reitano, Sabbir Ahmed, Shiqi Zhang, Adnan Siraj Rakin

分类: cs.RO, cs.AI

发布日期: 2025-04-23 (更新: 2025-05-26)

💡 一句话要点

提出Robo-Troj，针对基于LLM的任务规划器进行多触发后门攻击。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人安全 后门攻击 大型语言模型 任务规划 触发词优化

📋 核心要点

  1. 基于LLM的任务规划器在机器人领域应用广泛，但安全性研究相对滞后，存在潜在风险。
  2. Robo-Troj是一种多触发后门攻击，通过特定触发词激活恶意行为，适应不同机器人应用场景。
  3. 论文提出触发词优化方法，提升攻击效果，并旨在促进更安全的机器人系统设计。

📝 摘要（中文）

本文提出Robo-Troj，这是首个针对基于大型语言模型（LLM）的任务规划器的多触发后门攻击。LLM在任务规划中表现出色，但其安全性研究不足。Robo-Troj通过训练来适应机器人应用领域的多样性，例如，使用独特的触发词（如“herical”）来激活特定的恶意行为（如厨房机器人切割手）。此外，本文还开发了一种优化方法来选择最有效的触发词。通过展示LLM规划器的漏洞，旨在促进安全机器人系统的开发。

🔬 方法详解

问题定义：论文旨在解决基于LLM的任务规划器存在的安全漏洞问题。现有的LLM任务规划器缺乏针对后门攻击的防御机制，容易受到恶意触发词的控制，导致机器人执行非预期甚至危险的动作。

核心思路：核心思路是构建一种多触发后门攻击，允许攻击者通过不同的触发词在不同的机器人应用场景中激活特定的恶意行为。这种方法旨在模拟真实世界中机器人应用的多样性，并提高攻击的隐蔽性和有效性。

技术框架：Robo-Troj的整体框架包含以下几个主要阶段：1) 数据准备：收集或生成包含不同机器人应用场景的任务规划数据。2) 触发词选择：使用优化方法选择一组有效的触发词，每个触发词对应一个特定的恶意行为。3) 模型训练：使用包含触发词的任务规划数据对LLM进行微调，使其在检测到触发词时执行相应的恶意行为。4) 攻击执行：将包含触发词的任务指令发送给机器人，触发恶意行为。

关键创新：最重要的技术创新点在于多触发后门攻击的设计和触发词优化方法。传统后门攻击通常只使用单个触发器，而Robo-Troj允许多个触发器对应不同的恶意行为，提高了攻击的灵活性和适应性。触发词优化方法则可以帮助攻击者选择最有效的触发词，提高攻击成功率。

关键设计：触发词优化方法可能涉及计算触发词的困惑度（perplexity）或使用梯度下降等方法来选择能够最大程度影响LLM输出的触发词。损失函数的设计需要考虑既要保证LLM在正常任务规划中的性能，又要确保触发词能够有效地激活恶意行为。具体的网络结构取决于所使用的LLM模型，但通常需要在LLM的输出层添加一个额外的分类器来预测恶意行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明了Robo-Troj攻击的有效性，展示了LLM任务规划器在面对后门攻击时的脆弱性。具体性能数据未知，但论文强调了触发词优化方法能够提高攻击成功率。实验结果表明，即使是经过微调的LLM，也容易受到精心设计的后门攻击的影响。

🎯 应用场景

该研究成果可应用于评估和提升基于LLM的机器人系统的安全性。通过模拟和分析Robo-Troj攻击，可以发现系统中的潜在漏洞，并开发相应的防御机制，例如输入过滤、对抗训练等。此外，该研究还可以促进安全机器人编程规范的制定，提高机器人系统的可靠性和安全性。

📄 摘要（原文）

Robots need task planning methods to achieve goals that require more than individual actions. Recently, large language models (LLMs) have demonstrated impressive performance in task planning. LLMs can generate a step-by-step solution using a description of actions and the goal. Despite the successes in LLM-based task planning, there is limited research studying the security aspects of those systems. In this paper, we develop Robo-Troj, the first multi-trigger backdoor attack for LLM-based task planners, which is the main contribution of this work. As a multi-trigger attack, Robo-Troj is trained to accommodate the diversity of robot application domains. For instance, one can use unique trigger words, e.g., "herical", to activate a specific malicious behavior, e.g., cutting hand on a kitchen robot. In addition, we develop an optimization method for selecting the trigger words that are most effective. Through demonstrating the vulnerability of LLM-based planners, we aim to promote the development of secured robot systems.