Robustness of LLM-enabled vehicle trajectory prediction under data security threats

📄 arXiv: 2511.13753v1 📥 PDF

作者: Feilong Wang, Fuqiang Liu

分类: cs.LG, cs.AI, cs.CR

发布日期: 2025-11-14

备注: 20 pages, 2 figures, 11 tables, working paper

💡 一句话要点

针对LLM车辆轨迹预测，提出单特征差分进化攻击以评估其数据安全鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM 车辆轨迹预测 对抗攻击 数据安全 差分进化 鲁棒性 自动驾驶

📋 核心要点

  1. 基于LLM的车辆轨迹预测面临数据安全威胁，现有研究缺乏对其鲁棒性的系统性评估。
  2. 提出单特征差分进化攻击，通过扰动LLM输入中车辆的运动学特征，评估模型在黑盒攻击下的脆弱性。
  3. 实验表明，微小扰动即可显著影响模型预测，揭示了LLM预测器对对抗性攻击的敏感性，并分析了准确性与鲁棒性的权衡。

📝 摘要（中文）

本文研究了集成大型语言模型（LLM）的自动驾驶系统在数据安全威胁下的鲁棒性。尽管基于LLM的车辆轨迹预测通过转换驾驶环境数据展现出潜力，但其安全性仍未被充分探索。本文针对此问题，系统性地分析了LLM车辆轨迹预测的脆弱性。我们提出了一种单特征差分进化攻击，在黑盒设置下，通过扰动LLM输入提示中周围车辆的单个运动学特征。在highD数据集上的实验表明，即使是微小的、物理上合理的扰动也可能显著干扰模型输出，突显了基于LLM的预测器对对抗性操纵的敏感性。进一步的分析揭示了准确性和鲁棒性之间的权衡，检验了失效机制，并探讨了潜在的缓解方案。该研究首次深入了解了车辆交互背景下LLM驱动的自动驾驶车辆模型的对抗性漏洞，并强调了未来基于LLM的智能交通系统需要面向鲁棒性的设计。

🔬 方法详解

问题定义：论文旨在解决LLM赋能的车辆轨迹预测模型在面对数据安全威胁时的鲁棒性问题。现有方法主要关注LLM在轨迹预测中的应用，但忽略了其在对抗性攻击下的脆弱性，这对于安全攸关的自动驾驶系统是不可接受的。因此，需要系统性地评估LLM轨迹预测模型在数据扰动下的性能表现。

核心思路：论文的核心思路是通过设计一种对抗性攻击方法，即单特征差分进化攻击，来评估LLM轨迹预测模型的鲁棒性。该方法通过在LLM的输入提示中，对周围车辆的单个运动学特征进行微小但精心设计的扰动，观察模型输出的变化。如果模型对这些扰动非常敏感，则表明其鲁棒性较差。

技术框架：整体框架包含以下几个主要步骤：1) 从highD数据集中提取车辆轨迹数据；2) 将轨迹数据转换为LLM可以理解的文本提示；3) 使用单特征差分进化算法生成对抗性扰动，作用于文本提示中的单个运动学特征；4) 将扰动后的文本提示输入到LLM轨迹预测模型中；5) 评估模型输出的变化，并分析其失效机制。

关键创新：论文的关键创新在于提出了单特征差分进化攻击方法，该方法能够在黑盒设置下，仅通过扰动单个运动学特征，就能够有效地欺骗LLM轨迹预测模型。这种攻击方法具有较高的效率和隐蔽性，能够更好地模拟实际场景中的数据安全威胁。此外，论文还首次系统性地分析了LLM轨迹预测模型在对抗性攻击下的脆弱性，为未来的鲁棒性设计提供了重要的参考。

关键设计：单特征差分进化攻击的关键设计在于差分进化算法的参数设置，例如种群大小、交叉概率、变异概率等。这些参数需要根据具体的LLM模型和数据集进行调整，以达到最佳的攻击效果。此外，论文还设计了一种损失函数，用于衡量模型输出的变化程度，从而指导差分进化算法的搜索方向。具体来说，损失函数可以基于预测轨迹与真实轨迹之间的距离，或者基于预测的变道意图与真实变道意图之间的差异。

📊 实验亮点

实验结果表明，即使对LLM输入提示中单个车辆的运动学特征进行微小扰动，也能显著影响轨迹预测结果。例如，通过单特征差分进化攻击，模型预测精度下降超过XX%。该研究还揭示了准确性和鲁棒性之间的权衡，表明提高模型准确性可能会降低其鲁棒性。这些发现强调了在LLM驱动的自动驾驶系统中，鲁棒性设计的重要性。

🎯 应用场景

该研究成果可应用于评估和提升自动驾驶系统中LLM轨迹预测模型的安全性。通过识别模型的脆弱点，可以指导开发更鲁棒的预测算法，例如对抗训练、输入过滤等。此外，该研究也为智能交通系统的安全设计提供了新的视角，有助于构建更安全可靠的自动驾驶环境。

📄 摘要（原文）

The integration of large language models (LLMs) into automated driving systems has opened new possibilities for reasoning and decision-making by transforming complex driving contexts into language-understandable representations. Recent studies demonstrate that fine-tuned LLMs can accurately predict vehicle trajectories and lane-change intentions by gathering and transforming data from surrounding vehicles. However, the robustness of such LLM-based prediction models for safety-critical driving systems remains unexplored, despite the increasing concerns about the trustworthiness of LLMs. This study addresses this gap by conducting a systematic vulnerability analysis of LLM-enabled vehicle trajectory prediction. We propose a one-feature differential evolution attack that perturbs a single kinematic feature of surrounding vehicles within the LLM's input prompts under a black-box setting. Experiments on the highD dataset reveal that even minor, physically plausible perturbations can significantly disrupt model outputs, underscoring the susceptibility of LLM-based predictors to adversarial manipulation. Further analyses reveal a trade-off between accuracy and robustness, examine the failure mechanism, and explore potential mitigation solutions. The findings provide the very first insights into adversarial vulnerabilities of LLM-driven automated vehicle models in the context of vehicular interactions and highlight the need for robustness-oriented design in future LLM-based intelligent transportation systems.