Explainable Adversarial-Robust Vision-Language-Action Model for Robotic Manipulation

📄 arXiv: 2512.11865v1 📥 PDF

作者: Ju-Young Kim, Ji-Hong Park, Myeongjun Kim, Gun-Woo Kim

分类: cs.CV, cs.AI, cs.RO

发布日期: 2025-12-05

备注: Accepted to MobieSec 2025 (poster session)

💡 一句话要点

提出可解释的对抗鲁棒视觉-语言-动作模型，提升机器人操作在智能农业中的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言-动作模型 对抗鲁棒性 可解释性 智能农业 光度扰动 深度学习

📋 核心要点

  1. 现有智能农业系统中，基于视觉感知的机器人操作易受光照、噪声等光度扰动攻击，导致系统失效。
  2. 提出一种可解释的对抗鲁棒视觉-语言-动作模型，通过集成Evidence-3模块检测扰动并生成自然语言解释。
  3. 实验结果表明，该模型在对抗条件下显著降低了动作预测的L1损失，提升了动作预测的准确性和可解释性。

📝 摘要（中文）

智能农业正通过自动化和智能控制成为现代农业发展的关键技术。然而，智能农业中常用的依赖RGB相机进行感知和机器人机械臂进行控制的系统，容易受到光度扰动（如色调、光照和噪声变化）的影响，这些扰动可能导致系统在对抗攻击下发生故障。为了解决这个问题，我们提出了一个基于OpenVLA-OFT框架的可解释的对抗鲁棒视觉-语言-动作模型。该模型集成了一个Evidence-3模块，用于检测光度扰动，并生成关于其原因和影响的自然语言解释。实验表明，与基线模型相比，该模型将当前动作的L1损失降低了21.7%，并将下一个动作的L1损失降低了18.4%，证明了在对抗条件下动作预测的准确性和可解释性得到了提高。

🔬 方法详解

问题定义：论文旨在解决智能农业环境中，机器人操作任务对光度扰动的脆弱性问题。现有方法在对抗攻击下，由于RGB相机感知易受影响，导致机器人动作预测不准确，甚至失效。因此，需要一种能够抵抗光度扰动，并提供可解释性的视觉-语言-动作模型。

核心思路：论文的核心思路是构建一个对抗鲁棒的视觉-语言-动作模型，该模型不仅能够准确预测机器人动作，还能检测并解释光度扰动。通过引入Evidence-3模块，模型能够识别扰动类型，并生成自然语言解释，从而提高模型的可信度和可解释性。

技术框架：该模型基于OpenVLA-OFT框架，并集成了Evidence-3模块。整体流程为：首先，视觉输入经过特征提取；然后，Evidence-3模块检测光度扰动并生成解释；最后，结合视觉特征和语言解释，模型预测当前和下一个机器人动作。该框架包含视觉编码器、语言编码器、动作预测器和Evidence-3模块。

关键创新：论文的关键创新在于引入了Evidence-3模块，该模块能够检测光度扰动并生成自然语言解释。与现有方法相比，该模型不仅具有更强的对抗鲁棒性，还提供了可解释性，使得用户能够理解模型做出决策的原因。

关键设计：Evidence-3模块的设计是关键。具体来说，该模块可能包含多个子模块，用于检测不同类型的光度扰动。损失函数的设计也至关重要，可能包括动作预测损失、扰动检测损失和解释生成损失。网络结构可能采用Transformer或类似的注意力机制，以便更好地融合视觉特征和语言信息。具体的参数设置和训练策略未知，需要参考论文细节。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，提出的模型在对抗条件下，相比于基线模型，当前动作的L1损失降低了21.7%，下一个动作的L1损失降低了18.4%。这些数据表明，该模型在提高动作预测准确性和可解释性方面取得了显著进展，验证了其在对抗环境下的有效性。

🎯 应用场景

该研究成果可应用于智能农业、自动化生产线等领域，提升机器人在复杂环境下的鲁棒性和可靠性。通过提供可解释性，该模型能够帮助用户理解机器人行为，增强用户信任，并促进人机协作。未来，该技术有望扩展到更广泛的机器人应用场景，例如灾害救援、医疗辅助等。

📄 摘要（原文）

Smart farming has emerged as a key technology for advancing modern agriculture through automation and intelligent control. However, systems relying on RGB cameras for perception and robotic manipulators for control, common in smart farming, are vulnerable to photometric perturbations such as hue, illumination, and noise changes, which can cause malfunction under adversarial attacks. To address this issue, we propose an explainable adversarial-robust Vision-Language-Action model based on the OpenVLA-OFT framework. The model integrates an Evidence-3 module that detects photometric perturbations and generates natural language explanations of their causes and effects. Experiments show that the proposed model reduces Current Action L1 loss by 21.7% and Next Actions L1 loss by 18.4% compared to the baseline, demonstrating improved action prediction accuracy and explainability under adversarial conditions.