VLA-Fabric: Learning Interaction for Composable Multi-Arm VLA Agents

📄 arXiv: 2610.23018v1 📥 PDF

作者: Chenglong Zhang, Shuaijun Liu, Feiyang You, Shuyang Hao, Chengyu Wu, Ningxin Su

分类: cs.RO

发布日期: 2026-10-16

备注: 17 pages, including references and appendices. Project website: https://nebulis-lab.com/VLA-Fabric/

💡 一句话要点

提出VLA-Fabric以解决多臂机器人协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 多臂机器人 协调机制 学习互动 机器人系统

📋 核心要点

  1. 现有的多臂协调方法在如何明确互动以生成完整动作方面仍然缺乏深入研究，导致协调效率低下。
  2. VLA-Fabric通过为每个臂组织一个完整的VLA，保留局部感知和动作所有权，利用学习的互动实现协调。
  3. 在物理实验中，完全互动的策略在四个任务上比独立训练的局部策略成功率提高了16-40个百分点，显示出显著的效果提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型正在迅速扩展单个机器人能够完成的任务，但许多现实世界的操作需要多个臂作为协调系统进行工作。现有方法在多臂协调方面存在不足，缺乏对完整动作生成的VLA之间如何明确互动的研究。本文提出VLA-Fabric，组织每个臂一个完整的VLA，同时保留局部感知和动作所有权，通过学习的互动实现跨策略边界的协调。我们系统研究了互动发生的时机、如何聚合同伴信息以及如何学习互动，揭示了共享上下文、特定同伴潜在信息和动作阶段互动的互补协调功能。最后，我们在三臂和四臂团队中进行评估，结果表明，完全互动在四个物理任务上比独立训练的局部策略提高了16-40个百分点。

🔬 方法详解

问题定义：本文旨在解决多臂机器人在执行任务时如何有效协调的问题。现有方法往往依赖于集中式策略或局部反应策略，缺乏对完整动作生成的明确互动机制。

核心思路：VLA-Fabric的核心思想是为每个臂组织一个完整的VLA，同时通过学习的互动机制实现跨策略的协调。这种设计允许每个臂在保留局部感知的同时，利用其他臂的信息进行更高效的协作。

技术框架：整体架构包括多个模块：每个臂都有独立的VLA，局部感知模块用于收集环境信息，互动模块用于聚合同伴信息，最后通过协调模块生成动作。

关键创新：最重要的创新在于提出了一种新的互动机制，使得不同VLA之间能够有效地共享信息和协调动作。这一机制并不依赖于特定的张量布局或骨干网络实现，具有较好的通用性。

关键设计：在设计中，关键参数包括互动发生的时机、信息聚合方式以及损失函数的设置。网络结构上，采用了灵活的模块化设计，以适应不同的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个物理任务中，VLA-Fabric的完全互动策略相比于独立训练的局部策略，成功率提高了16-40个百分点，显示出显著的性能提升。这一结果验证了明确互动在多臂机器人协调中的重要性。

🎯 应用场景

该研究的潜在应用领域包括多机器人系统、自动化制造、物流搬运等场景。通过实现高效的多臂协调，VLA-Fabric能够显著提升机器人在复杂环境中的操作能力，未来可能推动智能机器人在更多实际应用中的普及与发展。

📄 摘要（原文）

Vision-language-action (VLA) models are rapidly expanding what individual robots can accomplish, yet many real-world manipulation settings require multiple arms to operate as a coordinated system. Existing approaches organize multi-arm coordination in different ways, including centralized joint policies, high-level task or role assignment, and locally executed policies that react to teammates. However, how complete action-producing VLAs should explicitly interact with one another during action generation remains largely unexplored. We introduce VLA-Fabric, which organizes one complete VLA per arm while preserving local perception and action ownership, and enables coordination through learned interaction across policy boundaries. We first systematically study where such interaction should occur, how peer information should be aggregated, and how the interaction should be learned, revealing complementary coordination functions spanning shared context, peer-specific latent information, and action-stage interaction. We then re-instantiate these functions in a structurally different VLA architecture, showing that the coordination principle is not tied to a particular tensor layout or backbone implementation. Finally, we compose teams of three and four arms and evaluate them in simulation and physical experiments. On all four physical tasks, Full interaction improves success over independently trained local policies by 16--40 percentage points. Together, these results suggest that explicit interaction among complete VLA policies offers a scalable path toward networked embodied intelligence.