FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models

📄 arXiv: 2610.28109v1 📥 PDF

作者: Jiatong Li, Jisheng Dang, Qiangqiang Ma, Bimei Wang, Jingwen Zhao, Wenjun Ma, Juncheng Li, Hong Peng, Bin Hu

分类: cs.RO

发布日期: 2026-10-20

💡 一句话要点

提出FIT-MAC框架以提升视觉-语言-动作模型的鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 多智能体系统 鲁棒性提升 闭环控制 故障感知

📋 核心要点

  1. 现有的视觉-语言-动作模型在任务条件变化时可靠性显著下降，缺乏有效的故障识别与恢复机制。
  2. FIT-MAC框架通过引入多个智能体，增强了VLA策略的推理能力，实现了故障感知与干预。
  3. 在LIBERO-PRO数据集上的实验表明，FIT-MAC显著提高了成功率，且在多种扰动下表现优异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在标准机器人操作基准上表现出色，但在任务条件偏离标准设置时，其可靠性显著下降。现有的VLA策略通常缺乏明确的运行时机制来区分失败模式并选择适当的恢复策略。为系统性地缓解这一问题，本文提出了FIT-MAC，一个面向故障的闭环多智能体控制框架，旨在提高VLA策略在推理时的鲁棒性。FIT-MAC通过推理时控制层增强VLA策略，包含多个智能体协同工作，最终在LIBERO-PRO上进行的广泛实验表明，FIT-MAC在多种VLA基础上提高了鲁棒性，成功率显著提升，且在多种扰动下达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在任务条件偏离时的鲁棒性问题。现有方法在面对物体位置和任务指令扰动时，往往无法有效识别失败模式并采取适当的恢复措施。

核心思路：FIT-MAC通过引入一个闭环的多智能体控制框架，增强了VLA策略的推理能力。该框架能够实时解析语言指令，跟踪执行进度，并在必要时进行干预，从而提高模型的鲁棒性。

技术框架：FIT-MAC框架由多个智能体组成，包括规划者智能体、基础智能体、验证者智能体和修正智能体。规划者智能体解析语言指令，基础智能体将指令与视觉目标关联，验证者智能体跟踪执行进度并识别错误，修正智能体则负责实施干预措施。

关键创新：FIT-MAC的主要创新在于其故障感知机制和闭环控制策略，使得模型能够在推理时动态调整策略，区别对待不同类型的执行失败。这一设计与现有方法的静态决策机制形成鲜明对比。

关键设计：在设计中，FIT-MAC采用了多层次的控制策略，结合了预训练的VLA策略与实时的干预机制，确保在无需干预时仍能保持高效的决策生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO-PRO数据集上的实验结果显示，FIT-MAC在多种VLA基础上成功率显著提高，尤其在面对不同扰动时，成功率提升幅度超过20%。该框架在多种测试场景中均表现出色，达到了最先进的性能水平。

🎯 应用场景

FIT-MAC框架具有广泛的应用潜力，尤其在机器人操作、自动化制造和智能家居等领域。通过提升视觉-语言-动作模型的鲁棒性，该框架能够在复杂和动态的环境中实现更可靠的任务执行，未来可能推动智能机器人在实际应用中的普及与发展。

📄 摘要（原文）

Vision-language-action (VLA) models have achieved strong performance on standard robotic manipulation benchmarks. However, their reliability can degrade substantially when task conditions deviate from the nominal setting. Perturbations in object positions and task instructions may lead to complete task failure. Existing VLA policies generally lack an explicit runtime mechanism for distinguishing these failure modes and selecting an appropriate recovery strategy. To systematically mitigate this issue, we propose FIT-MAC, a failure-aware, closed-loop multi-agent control framework for improving the robustness of VLA policies at inference time. FIT-MAC augments a VLA policy with an inference-time control layer. First, the Planner Agent parses the language instruction into a structured task specification that captures the manipulation goal and spatial constraints, and the Grounder Agent resolves each instruction-level reference to a visual target. Next, the Verifier Agent tracks phase-specific execution progress, distinguishes target-binding errors from local execution failures, and determines whether intervention is warranted. The Correction Agent then routes permitted interventions to target rebinding or bounded grasping or placement recovery, depending on the failure type. When no intervention is required, the pretrained VLA remains the default action generator. Extensive experiments on LIBERO-PRO demonstrate that FIT-MAC improves robustness across multiple VLA backbones, consistently increasing success rates and achieving state-of-the-art performance under diverse perturbations.