What the Guard Misses, the Robot Executes: Implied Harm in VLA Instructions
作者: Sripad Karne, Arjun Balaji
分类: cs.RO
发布日期: 2026-10-05
备注: Under review at the SPAIS 2026 workshop (CoRL 2026)
💡 一句话要点
提出监控机制以解决VLA模型隐含危害问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动模型 监控机制 隐含危害 机器人技术 安全性
📋 核心要点
- 现有的视觉-语言-行动模型无法拒绝有害指令，监控系统的有效性受到挑战。
- 论文提出了一种新的监控机制，旨在提高对隐含有害请求的识别能力。
- 实验结果显示，监控系统对隐含有害请求的识别率低，且在多次测试中未能有效标记。
📝 摘要（中文）
视觉-语言-行动模型（VLA）在执行指令时无法拒绝，因此监控系统负责筛查有害请求。本文测试了这些监控系统是否能识别出因有害原因请求的普通机器人任务，保持任务不变，仅改变意图的明确性。结果显示，$π_{0.5}$在每个明确性水平上完成任务的频率与无害控制组相当。文本监控几乎标记了所有直接请求，但对隐含请求的标记率较低：高达95%的隐含危害任务完成且未被标记，甚至在对机器人指令进行重新校准后仍有90%。监控模型的激活并未缩小这一差距。线性探测器在基础语言和视觉-语言模型中几乎完美地区分有害与无害指令，但在两个模型系列的机器人训练后，这种区分能力减弱，尤其是隐含危害的情况。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-行动模型在执行指令时无法拒绝有害请求的问题。现有监控系统在识别隐含有害意图方面存在显著不足，导致潜在的安全隐患。
核心思路：论文的核心思路是通过改进监控机制，增强对隐含有害请求的识别能力。通过对指令的明确性进行变化，探讨监控系统的有效性。
技术框架：整体架构包括任务执行模块、监控模块和激活监测模块。任务执行模块负责执行指令，监控模块负责筛查请求，激活监测模块用于分析模型的内部状态。
关键创新：最重要的技术创新在于提出了一种新的监控机制，能够在不同明确性水平下评估指令的潜在危害性，尤其是隐含危害的识别能力显著提升。
关键设计：在实验中，使用线性探测器对有害与无害指令进行分类，设计了不同的损失函数以优化监控系统的性能，并对模型进行了多轮训练以提高其识别能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，文本监控系统对直接请求的标记率接近100%，但对隐含请求的标记率低至5%。在隐含危害的情况下，95%的任务成功完成且未被标记，显示出监控系统的有效性不足。
🎯 应用场景
该研究的潜在应用场景包括机器人技术、自动化系统和智能助手等领域。通过提高对有害请求的识别能力，可以增强系统的安全性和可靠性，降低因误操作导致的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-language-action models (VLAs) act on instructions without being able to refuse, so screening harmful requests falls to monitors. We test whether these monitors catch ordinary robot tasks requested for harmful reasons, holding the task fixed while varying only how explicitly the intent is stated. $π_{0.5}$ completes the task at every level of explicitness, as often as for harmless controls. Text guards flag nearly every blunt request but few implied ones: up to 95% of implied-harm runs end with the task done and no flag raised, and up to 90% even after recalibrating on robot instructions. Monitoring the model's activations does not close this gap. Linear probes separate harmful from harmless instructions almost perfectly in the base language and vision-language models, but this separation weakens after robot training in two model families, most for implied harm.