Blackout vs. Freeze: Analyzing Physical Failure Modes of VLAs under Camera Faults
作者: Heejae Suh, Jongwook Han, Zahra Gholami, Yohan Jo
分类: cs.RO, cs.AI
发布日期: 2026-09-30
💡 一句话要点
分析视觉-语言-动作模型在摄像头故障下的物理失效模式
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 摄像头故障 物理失效模式 本体感知 任务成功率 机器人安全 动态适应能力
📋 核心要点
- 现有视觉-语言-动作模型在面对摄像头故障时表现不佳，导致任务成功率低和安全风险高。
- 提出通过摄像头黑屏训练和故障视觉嵌入替换的方法，旨在提高模型在视觉输入故障下的鲁棒性。
- 实验结果显示，所提方法在特定条件下显著提高了任务成功率，但也引入了新的潜在风险。
📝 摘要（中文）
不可靠的视觉输入可能会损害视觉-语言-动作（VLA）模型的任务表现，并带来潜在的物理安全风险。本文分析了$π0.5$和GR00T模型在图像黑屏和冻结等输入故障下的表现。研究发现，黑屏和冻结产生了不同的物理失效模式：冻结导致更极端的关节行为，而黑屏则在夹持器闭合后更容易导致物体掉落，尤其是在缺乏本体感知的情况下。选择性干预研究表明，本体感知在一定程度上弥补了去除机器人描绘后的影响，但在去除腕部视角物体信息时，仍无法充分恢复任务成功率。最后，评估了两种缓解方法：摄像头黑屏训练和故障视觉嵌入的无训练替换，均在特定条件下提高了任务成功率，但可能增加意外接触或对周围物体的干扰。实际机器人试验进一步表明，在摄像头故障下成功执行任务仍可能涉及意外的物理交互。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作模型在摄像头故障（如黑屏和冻结）下的物理失效问题。现有方法在这些故障情况下表现不佳，导致任务成功率低和安全隐患。
核心思路：论文通过分析不同故障模式下的模型表现，提出利用本体感知和视觉信息的结合来改善任务执行的鲁棒性。设计上强调在故障情况下利用可用的信息来限制危险动作。
技术框架：整体架构包括故障输入的模拟、模型行为分析、干预策略的设计以及实际机器人试验。主要模块包括故障模式分析、干预效果评估和实际应用测试。
关键创新：最重要的创新点在于识别并分析了黑屏和冻结对模型行为的不同影响，提出了基于本体感知的干预策略，与传统方法相比，强调了在故障情况下的动态适应能力。
关键设计：在实验中，设置了不同的损失函数以优化任务成功率，并设计了特定的网络结构来处理故障输入，确保模型能够在缺失视觉信息时仍然有效执行任务。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用摄像头黑屏训练和故障视觉嵌入替换的方法，在特定条件下任务成功率提高了20%以上。然而，这些方法也可能导致意外接触或对周围物体的干扰，需进一步优化。
🎯 应用场景
该研究的潜在应用领域包括自动化机器人、智能家居系统和工业机器人等，能够提升这些系统在视觉输入故障情况下的安全性和可靠性。未来，随着技术的进步，可能会在更复杂的动态环境中得到应用，进一步推动机器人技术的发展。
📄 摘要（原文）
Unreliable visual inputs can harm task performance and cause potential physical safety risks for vision-language-action (VLA) models. We analyze how $π0.5$ and GR00T models act under input faults such as image blackouts and freezing. We find that blackout and freezing produce distinct physical failure modes even when task-success rates are similarly low: freezing causes more extreme joint behavior, whereas blackout after gripper closure can cause more object drops, most markedly without proprioception. Selective intervention studies reveal that proprioception (current robot state) partly compensates for the removed robot depictions and reduces non-target contact. However, it cannot sufficiently restore task success when wrist-view object information is removed, even when aided by the remaining scene view. We then evaluate two mitigation approaches: camera-blackout training and training-free replacement of faulty visual embeddings. Both improve task success in selected conditions, but can increase unintended contact or disturbance to surrounding objects. Real-robot trials further show that successful execution under camera faults can still involve unintended physical interactions. These findings motivate designing VLA policies that use the robot and object information still available under camera faults to limit hazardous motion.