Learning to Act under Visual Interruptions with Vision-Language-Action Models
作者: Mingle Jiang, Rui Xu, Yunke Wang, Chang Xu
分类: cs.RO, cs.AI
发布日期: 2026-09-28
备注: https://minglejiang.github.io/Mail-Bench/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出MAIL-Bench和MINT以解决视觉中断下的机器人操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉中断 机器人操作 视觉-语言-动作 光流外推 动作条件模型 鲁棒性 基准评估
📋 核心要点
- 现有的VLA模型在任务执行中假设所有摄像头均可用，但在实际应用中，视觉中断的影响尚未得到充分理解。
- 本文提出MAIL-Bench基准，评估VLA模型在视觉中断下的表现，并提出MINT以训练策略在缺失视觉输入时仍能正常工作。
- 实验结果显示，MINT在摄像头丢失情况下显著提高了任务成功率，尤其在真实机器人部署中表现优异。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在机器人操作中展现了强大的能力，但通常假设在任务执行过程中所有摄像头均可用。本文探讨了在摄像头停止传输帧时，策略如何在缺乏后续观察的情况下继续执行。为此，我们引入了MAIL-Bench基准，评估VLA模型在视觉中断下的表现。基于该基准，我们提出了MINT，旨在训练VLA策略在缺失视觉输入的情况下保持功能。在推理时，MINT通过光流外推或基于动作的世界模型选择性补充缺失的观察，并在预测视图不可靠时撤回。实验表明，MINT在摄像头丢失情况下显著提高了任务成功率。
🔬 方法详解
问题定义：本文解决的问题是如何在视觉中断的情况下，保持机器人操作策略的有效性。现有方法通常假设所有视觉输入始终可用，未考虑中断对操作的影响。
核心思路：论文的核心思路是通过MAIL-Bench基准评估视觉中断对VLA模型的影响，并提出MINT模型来训练策略在缺失视觉输入时仍能保持功能。
技术框架：整体架构包括两个主要模块：MAIL-Bench用于评估视觉中断，MINT用于在推理时补充缺失的视觉输入。MINT通过光流外推和基于动作的世界模型来实现这一目标。
关键创新：最重要的技术创新在于MINT模型的设计，使得策略能够在缺失视觉输入的情况下继续执行任务，这与现有方法的假设有本质区别。
关键设计：MINT模型的关键设计包括光流外推算法和动作条件的世界模型，确保在视觉输入缺失时能够有效补充信息，并在输入不可靠时及时撤回预测视图。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MINT在摄像头丢失情况下的任务成功率显著提高，尤其在$π_{0.5}$和GR00T N1.5上，相较于原始模型提升幅度达到XX%。在AgiBot G2上的真实机器人部署进一步验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化生产线和服务机器人等，能够在视觉中断的情况下继续执行任务，提高系统的鲁棒性和可靠性。未来，该技术可能推动机器人在复杂环境中的自主操作能力，减少对稳定视觉输入的依赖。
📄 摘要（原文）
Vision-language-action (VLA) models have demonstrated strong capabilities in robotic manipulation, but they are typically developed and evaluated with all camera streams available throughout task execution. When a camera stops delivering frames during task execution, the policy must continue acting without access to subsequent observations from the missing view. Despite its practical importance, how such interruptions affect closed-loop manipulation remains insufficiently understood. To investigate this problem, we introduce MAIL-Bench, a benchmark that evaluates visual interruptions with VLA models. By interrupting different cameras at multiple stages of each policy's successful reference trajectory, MAIL-Bench measures how well policies retain their capabilities when visual inputs become unavailable. Building on this benchmark, we propose MINT, which first trains VLA policies to remain functional under missing visual inputs. At inference time, MINT selectively supplements missing observations using optical-flow extrapolation or an action-conditioned world model, and withdraws predicted views when they become unreliable. Experiments on $π_{0.5}$ and GR00T N1.5 show that MINT significantly improves task success under camera loss over the original models. Experiments on AgiBot G2 further demonstrate the real-robot deployment under camera loss. The benchmark is available at https://minglejiang.github.io/Mail-Bench/