ICR-Drive: Instruction Counterfactual Robustness for End-to-End Language-Driven Autonomous Driving
作者: Kaiser Hamid, Can Cui, Nade Liang
分类: cs.CL, cs.CV
发布日期: 2026-04-07
💡 一句话要点
ICR-Drive：面向端到端语言驱动自动驾驶的指令反事实鲁棒性诊断框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 语言驱动 指令鲁棒性 反事实评估 CARLA模拟器
📋 核心要点
- 现有语言驱动的自动驾驶模型在理想指令下表现良好，但现实场景中指令存在措辞变化、信息缺失甚至误导等问题。
- ICR-Drive框架通过生成释义、歧义、噪声和误导四种类型的指令变体，评估模型在不同指令下的鲁棒性。
- 实验表明，即使是微小的指令变化也会导致性能显著下降，揭示了现有模型在实际部署中的可靠性问题。
📝 摘要（中文）
视觉-语言-动作(VLA)模型的最新进展使得语言条件下的驾驶智能体能够在闭环仿真中执行自然语言导航指令。然而，标准评估在很大程度上假设指令是精确且形式良好的。在实际部署中，指令的措辞和具体程度各不相同，可能省略关键限定词，并且偶尔包含误导性的、权威框架的文本，导致指令级别的鲁棒性未得到充分衡量。我们引入了ICR-Drive，这是一个用于端到端语言条件自动驾驶中指令反事实鲁棒性的诊断框架。ICR-Drive生成跨越四个扰动族的受控指令变体：释义、歧义、噪声和误导，其中误导变体与导航目标冲突并试图覆盖意图。我们在匹配的模拟器配置和种子下重放相同的CARLA路线，以隔离归因于指令语言的性能变化。使用标准CARLA排行榜指标和相对于基线指令的每个族的性能下降来量化鲁棒性。在LMDrive和BEVDriver上的实验表明，微小的指令变化会导致显著的性能下降和不同的失败模式，揭示了在安全关键驾驶中部署具身基础模型的可靠性差距。
🔬 方法详解
问题定义：现有端到端语言驱动的自动驾驶模型在理想化的指令下表现良好，但在实际应用中，用户提供的指令可能存在各种问题，例如措辞不清晰、信息不完整、甚至包含与目标相悖的误导性信息。这些指令上的微小变化可能导致模型性能大幅下降，从而影响驾驶安全。因此，如何评估和提升模型在各种指令下的鲁棒性是一个重要的研究问题。
核心思路：ICR-Drive的核心思路是通过生成一系列与原始指令相关的“反事实”指令变体，来系统性地评估模型在不同指令下的表现。这些变体旨在模拟现实世界中可能出现的各种指令问题，例如释义、歧义、噪声和误导。通过比较模型在原始指令和变体指令下的性能差异，可以量化模型对不同类型指令问题的鲁棒性。
技术框架：ICR-Drive框架主要包含以下几个模块：1) 指令变体生成器：负责生成四种类型的指令变体，包括释义（Paraphrase）、歧义（Ambiguity）、噪声（Noise）和误导（Misleading）。2) CARLA模拟器：用于模拟自动驾驶环境，并执行模型生成的驾驶动作。3) 评估指标：使用CARLA Leaderboard中的标准指标（例如成功率、碰撞率等）来评估模型性能。4) 鲁棒性分析：通过比较模型在原始指令和变体指令下的性能，分析模型对不同类型指令问题的鲁棒性。整个流程是在相同的CARLA路线和模拟器配置下进行的，以确保性能差异仅归因于指令语言的变化。
关键创新：ICR-Drive的主要创新在于提出了一个系统的、可控的指令反事实鲁棒性评估框架。与以往研究主要关注模型在理想指令下的性能不同，ICR-Drive关注模型在各种非理想指令下的表现，从而更全面地评估模型的实际应用能力。此外，ICR-Drive还定义了四种类型的指令变体，涵盖了现实世界中可能出现的各种指令问题。
关键设计：ICR-Drive的关键设计包括：1) 指令变体生成策略：针对每种指令变体类型，采用了不同的生成策略。例如，对于释义变体，可以使用同义词替换或句子重写等方法；对于歧义变体，可以引入模糊的限定词或省略关键信息；对于误导变体，可以生成与导航目标相悖的指令。2) 实验控制：为了确保实验结果的可靠性，ICR-Drive在相同的CARLA路线和模拟器配置下重放实验，并使用相同的随机种子。3) 鲁棒性量化：使用标准CARLA Leaderboard指标，并计算模型在变体指令下的性能相对于原始指令的下降幅度，从而量化模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是微小的指令变化也会导致LMDrive和BEVDriver等模型性能显著下降。例如，在误导性指令下，模型的成功率大幅降低，碰撞率显著上升。这些结果揭示了现有模型在实际部署中面临的可靠性问题，并强调了提升模型指令鲁棒性的重要性。
🎯 应用场景
ICR-Drive的研究成果可以应用于自动驾驶系统的开发和测试，帮助开发者识别和解决模型在实际应用中可能遇到的指令理解问题。此外，该框架还可以用于评估不同模型的鲁棒性，为选择合适的模型提供依据。未来，该研究可以扩展到其他语言驱动的机器人应用领域，例如家庭服务机器人、工业机器人等。
📄 摘要（原文）
Recent progress in vision-language-action (VLA) models has enabled language-conditioned driving agents to execute natural-language navigation commands in closed-loop simulation, yet standard evaluations largely assume instructions are precise and well-formed. In deployment, instructions vary in phrasing and specificity, may omit critical qualifiers, and can occasionally include misleading, authority-framed text, leaving instruction-level robustness under-measured. We introduce ICR-Drive, a diagnostic framework for instruction counterfactual robustness in end-to-end language-conditioned autonomous driving. ICR-Drive generates controlled instruction variants spanning four perturbation families: Paraphrase, Ambiguity, Noise, and Misleading, where Misleading variants conflict with the navigation goal and attempt to override intent. We replay identical CARLA routes under matched simulator configurations and seeds to isolate performance changes attributable to instruction language. Robustness is quantified using standard CARLA Leaderboard metrics and per-family performance degradation relative to the baseline instruction. Experiments on LMDrive and BEVDriver show that minor instruction changes can induce substantial performance drops and distinct failure modes, revealing a reliability gap for deploying embodied foundation models in safety-critical driving.