TACTIC: Temporal and Context-Aware LLM Tactical Planning for Roadside LiDAR Attacks

📄 arXiv: 2609.39969v1 📥 PDF

作者: Yiming Gao, Shaocheng Luo

分类: cs.RO, cs.AI, eess.SY

发布日期: 2026-09-30

备注: Under review

💡 一句话要点

提出TACTIC框架以解决路边LiDAR攻击的场景感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LiDAR攻击 多模态学习 场景感知 自动驾驶安全 动态规划

📋 核心要点

  1. 现有的物理LiDAR攻击方法通常使用固定的原语和手动参数，缺乏对交通环境的适应性。
  2. TACTIC框架通过多模态大型语言模型，结合局部感知和路边图像，进行状态自适应的LiDAR攻击规划。
  3. 在280次CARLA试验中，TACTIC实现了100%的碰撞率，显著优于传统固定规则和随机选择方法。

📝 摘要（中文）

物理LiDAR攻击通常依赖于固定的原语和手动选择的参数，然而这些攻击强烈依赖于周围交通环境。我们提出了TACTIC，一个场景感知框架，利用多模态大型语言模型（MLLM）协调状态自适应的路边LiDAR攻击。在灰盒威胁模型下，TACTIC仅依赖攻击者操作的路边感知系统，而不访问受害者LiDAR的原始点云或内部处理。局部感知提供度量车辆状态，MLLM将这些测量与路边图像结合，以推断关系交通上下文并构建语义场景图。基于这一表示，TACTIC选择并配置两种互补原语：推开原语和幻影障碍制动。通过280次随机CARLA试验，TACTIC的全策略实现了100%的碰撞率，显示出场景依赖的战术规划能够揭示固定攻击策略可能忽略的上下文敏感LiDAR故障模式。

🔬 方法详解

问题定义：本论文旨在解决物理LiDAR攻击在交通环境变化下的适应性不足问题。现有方法依赖固定参数，无法有效应对动态交通场景。

核心思路：TACTIC框架通过结合多模态大型语言模型（MLLM）和局部感知数据，动态调整攻击策略，以适应实时交通环境的变化。

技术框架：TACTIC的整体架构包括局部感知模块、MLLM模块和攻击策略生成模块。局部感知模块收集车辆状态信息，MLLM模块处理这些信息并结合路边图像生成语义场景图，最后生成攻击策略。

关键创新：TACTIC的创新在于其场景感知能力，能够根据实时交通信息动态调整攻击策略，而不是依赖于固定的攻击模式。这使得TACTIC能够识别并利用上下文信息，从而提高攻击的成功率。

关键设计：TACTIC设计了两种攻击原语：推开原语和幻影障碍制动，分别用于改变前车的感知范围和触发紧急制动。此外，TACTIC采用异步推理与执行重叠的方式，以降低MLLM的延迟影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在280次随机CARLA试验中，TACTIC的全策略实现了100%的碰撞率，相较于固定规则的35%、随机选择的60%和受限LLM的75%有显著提升。此外，异步刷新机制将场景变化响应时间从7.4秒减少到2.0秒，显示出TACTIC在动态环境中的高效性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统的安全性评估和自动驾驶车辆的防御机制设计。通过提高对LiDAR攻击的理解，能够为未来的交通安全技术提供重要的参考和指导，促进更安全的自动驾驶技术发展。

📄 摘要（原文）

Physical LiDAR attacks are often evaluated using fixed primitives and manually selected parameters, despite their strong dependence on surrounding traffic. We present TACTIC, a scene-aware framework that uses a multimodal large language model (MLLM) to coordinate state-adaptive roadside LiDAR attacks. Under a gray-box threat model, TACTIC relies only on an attacker-operated roadside perception stack, without accessing the victim LiDAR's native point clouds or internal processing. Local perception provides metric vehicle states, while the MLLM combines these measurements with roadside imagery to infer relational traffic context and construct a semantic scene graph. Based on this representation, TACTIC selects and configures two complementary primitives: \emph{push-away}, which shifts the perceived range of a lead vehicle, and \emph{phantom-obstacle braking}, which triggers emergency braking through obstacle injection. Measured traffic states and empirically calibrated constraints ground the generated tactics in physically feasible operating regions. To accommodate MLLM latency, TACTIC overlaps reasoning and execution asynchronously while high-rate local perception detects scene changes and triggers replanning. Across 280 randomized CARLA trials, the full policy achieves a 100% collision rate, compared with 35% for a fixed rule, 60% for random selection, and 75% for a restricted LLM using mode selection with default parameters. Joint physical-and-image input achieves 100% success, versus 65% with physical measurements alone and 75% with imagery alone, while asynchronous $Δ$ refresh reduces scene-mutation response from 7.4 s to 2.0 s. These results show that scene-dependent tactical planning can expose context-sensitive LiDAR failure modes that fixed attack policies may miss.