From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization

📄 arXiv: 2609.19630v1 📥 PDF

作者: Diba Afroze, Xingli Zhang, Yazhou Tu, Xiali Hei

分类: cs.AI, cs.CL, cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出202场景基准以解决车辆语音指令授权安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 车辆语音助手 安全授权 决策对齐 错误执行 智能交通 基准评估

📋 核心要点

  1. 现有方法未能有效隔离语音指令的预执行决策，导致安全风险。
  2. 论文提出了一个202场景的基准，采用七类分类法来评估LLMs在车辆语音指令授权中的表现。
  3. 实验结果显示，API模型的对齐率在83.2%到89.1%之间，但仍存在错误执行的问题。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地集成到车辆语音助手中，但将自然语言请求与车辆功能关联起来会产生安全关键的授权问题。在执行命令之前，系统必须决定是执行、拒绝、澄清、需要确认、推迟手动控制、触发紧急响应还是不调用工具。我们引入了一个包含202个场景的基准，采用七类分类法的参考决策。我们评估了两个本地开放权重模型和三个基于API的LLMs，使用决策对齐和安全特定错误指标进行评估。对齐率从Llama 3.2 3B的40.1%到Gemini 3.1 Pro Preview的89.1%不等。即便是这些模型，在161个非执行场景中也产生了两到三个错误执行，确认和手动控制决策中仍存在持续错误。因此，结构化的LLM决策不足以作为独立的安全机制，部署需要一个独立的执行层，在调用任何车辆功能之前验证工具权限和车辆状态约束。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在车辆语音指令授权中的安全性问题。现有方法未能有效评估在不同说话者角色、认证状态、车辆状态和工具可用性下的预执行决策，导致潜在的安全隐患。

核心思路：论文通过引入一个包含202个场景的基准，系统化地评估LLMs在授权决策中的表现，采用七类分类法来明确不同的决策类型。这样设计的目的是为了更好地理解和优化LLMs在安全关键场景中的应用。

技术框架：整体架构包括数据集构建、模型评估和决策对齐三个主要模块。首先，构建包含多种场景的基准数据集；其次，评估不同模型在这些场景下的表现；最后，分析决策对齐和安全特定错误指标。

关键创新：最重要的技术创新在于提出了一个系统化的基准评估框架，能够有效隔离和分析LLMs在车辆语音指令授权中的预执行决策，与现有方法相比，提供了更全面的评估视角。

关键设计：在实验中，使用了决策对齐和安全特定错误指标来评估模型性能，特别是对Llama 3.2 3B模型进行了结构化授权策略的消融实验，发现其对齐率从28.2-29.2%提升至40.1%。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Llama 3.2 3B模型在结构化授权政策下的对齐率提升至40.1%，而基于API的模型对齐率在83.2%到89.1%之间。然而，所有模型在非执行场景中仍存在2到3次错误执行，确认和手动控制决策中也存在持续错误，表明安全机制仍需改进。

🎯 应用场景

该研究的潜在应用领域包括智能汽车、自动驾驶系统和语音助手等。通过提升语音指令的安全性，可以有效降低误操作风险，增强用户信任，推动智能交通系统的发展。未来，该研究可能对车辆安全标准的制定和智能助手的设计产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly integrated into vehicle voice assistants. But linking natural-language requests to vehicle functions creates a safety-critical authorization problem. Before executing a command, the system must choose whether to execute, refuse, clarify, require confirmation, defer to manual control, trigger an emergency response, or make no tool call. To our knowledge, prior evaluations do not isolate this pre-action decision across speaker role, authentication status, vehicle state, and tool availability. We introduce a 202-scenario benchmark with Reference Decisions under a seven-class taxonomy. We evaluate two local open-weight models and three API-based LLMs using Decision Alignment and safety-specific error metrics. Alignment ranges from 40.1% for Llama 3.2 3B to 89.1% for Gemini 3.1 Pro Preview. The API-based models score between 83.2% and 89.1%, with no statistically significant differences among them. Even these models produce two to three False Executes among 161 non-execution scenarios, and persistent errors remain in confirmation and manual-control decisions. A controlled Llama 3.2 3B ablation increases alignment to 40.1% under the structured authorization policy, versus 28.2-29.2% under schema-only and generic-safety baselines, but it does not eliminate False Executes. Structured LLM decisions are therefore insufficient as a standalone safety mechanism, and deployment requires an independent enforcement layer that verifies tool permissions and vehicle-state constraints before invoking any vehicle function.