Reasoning as a Double-Edged Sword: Architecture and Cross-Stage Robustness in Vision-Language-Action Models
作者: Tuan Duong Trinh, Naveed Akhtar, Basim Azam
分类: cs.RO, cs.AI, cs.CR, cs.LG
发布日期: 2026-07-20
💡 一句话要点
提出视觉-语言-动作模型的推理机制以增强鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 推理机制 鲁棒性 模型评估 自动化系统
📋 核心要点
- 现有的视觉-语言-动作模型在面对输入扰动时表现出脆弱性，尤其是在推理深度较大的情况下。
- 论文提出通过不同的推理机制（无推理、文本链推理和潜在迭代循环）来增强模型的鲁棒性，探索推理设计对鲁棒性的影响。
- 实验结果表明，潜在迭代模型在多种扰动下的任务成功率显著下降，而其他模型则保持稳定，显示出推理设计的结构性脆弱性。
📝 摘要（中文）
本研究探讨了在视觉-语言-动作（VLA）模型中添加推理步骤是否能提高其对扰动的鲁棒性。通过对三种不同推理机制的模型进行实验，发现潜在迭代模型在面对随机噪声和白盒扰动时表现最差，而其他两种模型则保持相对稳定。研究还考察了推理输出能否作为安全信号在运行时进行监控，结果显示监控机制在公平测试下失效，表明现有防御策略的局限性。
🔬 方法详解
问题定义：本研究旨在解决视觉-语言-动作模型在输入扰动下的鲁棒性问题。现有方法在推理深度增加时表现出明显的脆弱性，尤其是在面对随机噪声和白盒攻击时。
核心思路：论文的核心思路是通过引入不同的推理机制来增强模型的鲁棒性，假设推理步骤能够帮助模型更好地处理扰动输入。
技术框架：研究中使用了三种模型，分别是无推理模型、文本链推理模型和潜在迭代循环模型。每种模型在视觉、推理和动作阶段都进行了扰动测试。
关键创新：最重要的创新点在于发现潜在迭代模型在结构上存在脆弱性，其鲁棒性并未随着推理深度的增加而提升，反而在扰动下表现最差。
关键设计：在实验中，设计了多种监控机制以评估推理输出的有效性，但结果显示这些监控在公平测试中失效，未能有效提升模型的防御能力。实验还探讨了计划-行动一致性探测器的表现，发现其在适应性攻击下的成功率与随机猜测相当。
🖼️ 关键图片
📊 实验亮点
实验结果显示，潜在迭代模型在随机噪声和白盒扰动下的任务成功率显著下降，表现出结构性脆弱性。相比之下，其他两种模型在相同条件下保持了相对稳定的性能，验证了推理设计对鲁棒性的影响。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等场景，尤其是在需要处理不确定性和扰动的任务中。通过增强模型的鲁棒性，可以提高系统在复杂环境中的可靠性和安全性，未来可能推动更智能的自动化系统的发展。
📄 摘要（原文）
Does adding a reasoning step make a Vision-Language-Action (VLA) model more robust to perturbation? Intuitively, a policy that reasons before acting should absorb a perturbed input better than one that maps observations directly to actions. We test this premise head-on across three models that span the reasoning spectrum (no reasoning, a text chain-of-thought, and a latent iterative loop), perturbing each at the vision, reasoning, and action stages on LIBERO and SimplerEnv. Two questions organize the study: does the reasoning design shift robustness, and can the reasoning be read back at runtime as a safety signal? We find that the latent-iterative model is by far the least robust: under both stochastic noise and white-box perturbation its task success collapses, while the other two hold. This fragility is structural rather than cumulative: varying the reasoning depth at inference barely moves it. Reasoning outputs can in principle be monitored, but the monitors fail under fair tests. A plan--action consistency probe that looks near-perfect under naive evaluation falls to chance under adaptive attack. Under matched-FPR calibration, fusing it with an action-anomaly probe never lifts defended success above undefended. Scoped to these output-level behavioral probes under white-box vision-stage attack, this ceiling is a precondition that any viable defense must first satisfy.