Co-VLA: Consensus-based Federated Training for Vision-Language-Action Models

📄 arXiv: 2609.19923v1 📥 PDF

作者: Haolong Li, Guner Dilsad Er, Michael Muehlebach, Joerg Stueckler

分类: cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出Co-VLA以解决异构机器人数据分布下的联合训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 联邦学习 机器人学习 数据隐私 共识优化 ADMM 模型训练 异构数据分布

📋 核心要点

  1. 现有方法在异构机器人数据分布下的联合训练面临数据集中化成本高和不切实际的问题。
  2. 论文提出Co-VLA，通过共识优化和ADMM方法，实现了在不共享数据的情况下的联合训练。
  3. 实验结果表明，Co-VLA在全模型训练和参数高效微调方面的性能与集中训练相当，展示了其有效性。

📝 摘要（中文）

视觉-语言-动作模型（VLA）作为通用机器人学习的新兴范式，随着模型和数据集的扩展而性能提升。然而，机器人数据的集中收集面临挑战，因为数据自然分布在不同的机器人、任务和位置上，集中化成本高或不切实际。联邦学习为在分散的机器人数据上进行训练提供了一种方法，但将其应用于VLA需要考虑异构机器人客户端数据分布。本文提出Co-VLA，利用交替方向乘子法（ADMM）进行VLA的联邦训练。我们展示了该算法支持全模型训练和参数高效微调，适用于固定秩和自适应秩的适配器。Co-VLA的名称反映了共识与协作：不同本地机器人数据集的客户端在不共享数据的情况下共同训练共享模型。实验表明，Co-VLA在全模型训练和参数高效微调设置下的性能与集中训练相当。

🔬 方法详解

问题定义：本文旨在解决在异构机器人数据分布下进行视觉-语言-动作模型的联合训练问题。现有方法在集中化数据收集时面临高成本和不切实际的挑战，限制了模型的有效训练。

核心思路：Co-VLA的核心思路是利用共识优化方法，通过交替方向乘子法（ADMM）实现不同客户端在不共享数据的情况下的协同训练。这种设计使得各个机器人能够在保留本地数据隐私的前提下，共同提升模型性能。

技术框架：Co-VLA的整体架构包括数据分布的异构性处理、共识优化算法的实现以及模型训练的两个阶段：全模型训练和参数高效微调。主要模块包括本地训练、模型聚合和全局更新。

关键创新：Co-VLA的主要创新在于其能够同时支持全模型训练和参数高效微调，且通过ADMM算法有效处理异构数据分布问题。这与传统的集中训练方法有本质区别，后者通常需要大量的集中数据。

关键设计：在设计上，Co-VLA采用了固定秩和自适应秩的适配器，以提高模型的参数效率。此外，损失函数的设计也考虑了不同客户端数据的异构性，确保了训练过程的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Co-VLA在全模型训练和参数高效微调设置下的性能与集中训练相当，具体表现为在多个任务上取得了与基线方法相似的准确率，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、智能家居等场景，能够在不泄露用户隐私的情况下，利用分散的机器人数据进行高效的模型训练。未来，Co-VLA有望推动机器人学习的普及和应用，提升机器人在复杂环境中的自主决策能力。

📄 摘要（原文）

Vision-language-action models (VLAs) have emerged as a promising paradigm for general-purpose robot learning, with performance improving as models and datasets scale. Scaling robot data collection, however, remains challenging because data are naturally distributed across robots, tasks, and locations, making centralization costly or impractical. Federated learning offers a way to train on decentralized robot data, but applying it to VLAs requires accounting for heterogeneous robot client data distributions. We present Co-VLA, which applies consensus optimization using the Alternating Direction Method of Multipliers~(ADMM) to federated VLA training. We show that the same algorithm supports both full-model training and parameter-efficient fine-tuning with both fixed-rank and rank-adaptive adapters. The name Co-VLA reflects both consensus and collaboration: clients with different local robot datasets collaboratively train a shared model without sharing their data. Our experiments demonstrate that Co-VLA achieves performance comparable to centralized training in both full-model training and parameter-efficient fine-tuning settings.