MATE: Multi-Agent Virtual Teleoperation Platform for Humanoid Collaboration Data Collection

📄 arXiv: 2609.26520v1 📥 PDF

作者: Yichuan Yu, Youzhuo Wang, Yiming Ren, Di Feng, Yexuan Yang, Bingxi Yang, Shengxiao Gong, Yujing Sun, Yuexin Ma

分类: cs.RO

发布日期: 2026-09-22

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MATE平台以解决人形机器人协作数据收集问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟遥操作 人形机器人 多代理协作 数据收集 执行对齐交互采样 智能制造 机器人训练

📋 核心要点

  1. 现有的人形机器人数据收集方法主要集中于单一代理，难以实现物理多机器人协作，且成本高昂。
  2. MATE平台允许多个操作员在虚拟环境中同时控制人形机器人，消除了对物理机器人和共处操作的需求。
  3. 实验结果显示，MATE实现了高效的数据收集和有效的策略学习，且无需对物理机器人进行微调即可实现零次转移。

📝 摘要（中文）

人形机器人需要多样化的具身经验以获取复杂的运动操控和协作技能。然而，现有的人形机器人数据管道主要集中于单一代理，物理多机器人协作因硬件成本、专用空间和重复重置而难以扩展。本文介绍了MATE，一个多代理虚拟遥操作平台，允许多个地理分散的操作员在共享的物理环境中同时控制全身人形机器人。MATE消除了对多个物理机器人和共处操作的需求，同时保持人形机器人、物体和环境之间的物理耦合交互。利用MATE，我们构建了一个包含2,500个联合情节和五个长期任务的多机器人协作数据集，时长达24.1小时。为改善从这些丰富交互示范中学习，我们引入了EAIS（执行对齐交互采样策略），该策略在执行对齐前缀内计算采样信号，并优先考虑任务进展和交互关键行为。实验表明，MATE在数据收集、策略学习和从虚拟示范到物理人形机器人的零次转移方面表现出色。

🔬 方法详解

问题定义：本文旨在解决现有多机器人协作数据收集方法的局限性，尤其是物理协作的高成本和操作复杂性。现有方法往往依赖于单一代理，难以扩展到多机器人协作场景。

核心思路：MATE平台通过虚拟遥操作技术，使多个地理分散的操作员能够在共享的物理环境中同时控制人形机器人，从而实现高效的协作数据收集。该设计不仅降低了硬件需求，还保持了机器人之间的物理交互。

技术框架：MATE的整体架构包括虚拟遥操作界面、物理仿真环境和数据收集模块。操作员通过界面控制机器人，仿真环境实时反馈机器人与环境的交互，数据收集模块记录所有协作行为。

关键创新：MATE的主要创新在于其虚拟遥操作能力，使得多代理协作成为可能，且无需物理机器人，显著降低了实验成本和复杂性。与现有方法相比，MATE能够在保持物理交互的同时，实现更灵活的操作。

关键设计：在设计中，EAIS策略被引入以优化数据采样，确保在执行对齐前缀内优先采样任务进展和交互关键行为。该策略的参数设置和损失函数设计旨在提高学习效率和数据质量。实验中采用的网络结构和训练流程经过精心调整，以适应多样化的协作任务。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MATE在数据收集效率上显著优于传统方法，能够在24.1小时内生成2,500个联合情节。此外，采用MATE进行的策略学习在多项协作任务中表现出色，实现了从虚拟到物理的零次转移，验证了其有效性和实用性。

🎯 应用场景

MATE平台的潜在应用领域包括人形机器人训练、智能制造、物流配送等。通过虚拟环境中的高效数据收集，研究人员可以快速迭代和优化机器人协作策略，推动人形机器人在实际场景中的应用和发展。未来，MATE可能会在机器人教育和人机协作领域产生深远影响。

📄 摘要（原文）

Humanoid robots require diverse embodied experiences to acquire complex loco-manipulation and collaborative skills. However, existing humanoid data pipelines primarily focus on individual agents, while physical multi-robot collaboration remains difficult to scale due to costly hardware, dedicated spaces, and repeated resets. In this work, we introduce MATE, a Multi-Agent virtual TEleoperation platform for humanoid collaboration data collection that enables multiple geographically distributed operators to simultaneously control whole-body humanoids in a shared physics-based environment. MATE removes the need for multiple physical robots and co-located operation while preserving physically coupled interactions among humanoids, objects, and environments. Using MATE, we construct a multi-humanoid collaboration dataset comprising 24.1 hours of coordinated behavior across 2,500 joint episodes and five long-horizon tasks, including object handover, relay delivery, environment interaction, and cooperative transport. To improve learning from these interaction-rich demonstrations, we introduce EAIS, an Execution-Aligned Interaction Sampling strategy that computes sampling signals within an execution-aligned prefix and prioritizes task-progressing and interaction-critical behaviors. We evaluate MATE with representative imitation learning and vision-language-action policies across diverse collaboration tasks. Experiments demonstrate efficient data collection, effective policy learning, and zero-shot transfer from virtual demonstrations to a physical humanoid without real-world fine-tuning. Project page: https://yerik-yu.github.io/MATE/