DuoMind: Enabling Distributed Multi-Robot Coordination with Semantic Communication

📄 arXiv: 2610.02161v1 📥 PDF

作者: Hanchu Zhou, Dechen Gao, Hang Wang, Brendan Lynch, Boqi Zhao, Qiyao Ma, Raman Goyal, Junshan Zhang

分类: cs.RO, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出DuoMind以解决多机器人协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多机器人协调 语义通信 视觉-语言模型 视觉-语言-动作模型 分布式系统 长时间行为 智能制造 无人机编队

📋 核心要点

  1. 现有方法主要集中在单机器人设置，缺乏有效的多机器人协调机制，导致长时间行为的执行不可靠。
  2. DuoMind通过分布式层次框架，结合VLA和VLM的优势，实现机器人间的语义通信与协调。
  3. 在RoboPoly和RoboTwin基准测试中，DuoMind显著提升了多机器人任务的执行性能，验证了其有效性。

📝 摘要（中文）

视觉-语言模型（VLMs）和视觉-语言-动作模型（VLAs）最近推动了通用机器人的快速进展，但大多数研究集中在单机器人环境。将这些能力扩展到多机器人系统仍然具有挑战性，因为机器人必须协调长时间的行为，同时保持可靠和精细的执行。本文介绍了DuoMind，一个通过语义通信实现多机器人协调的分布式层次框架。每个机器人使用基于VLA的动作模型进行低级执行，并使用基于VLM的协调器进行高级推理和代理间协调。实验结果表明，DuoMind在多机器人任务性能上有显著提升，同时消融研究确认了层次协调和语义通信的贡献。

🔬 方法详解

问题定义：本文旨在解决多机器人系统中协调长时间行为的挑战。现有方法在多机器人环境中缺乏有效的通信与协作机制，导致执行的可靠性和精细度不足。

核心思路：DuoMind的核心思路是通过分布式层次框架，利用VLA进行低级动作执行，VLM进行高级推理与协调，从而实现机器人间的有效语义通信。这样的设计使得每个机器人能够在执行任务时，综合考虑本地观察和来自其他机器人的信息。

技术框架：DuoMind的整体架构包括两个主要模块：低级动作模型（基于VLA）和高级协调器（基于VLM）。在每个规划步骤中，协调器会分析任务指令、局部观察和接收到的消息，生成低级指令和语义消息。

关键创新：DuoMind的创新在于将VLM的语义推理能力与VLA的精确动作生成能力相结合，形成了一种新的多机器人协调机制。这种方法与传统的单一模型方法有本质区别，能够更好地处理复杂的多机器人任务。

关键设计：在设计中，DuoMind采用了分层的通信机制，使得每个机器人能够在不同层次上进行信息交换。此外，模型的训练过程中使用了特定的损失函数，以优化语义通信的效果和动作执行的精确性。通过这些设计，DuoMind在多机器人协调中展现了优越的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboPoly和RoboTwin的实验中，DuoMind显著提升了多机器人任务的执行性能，相较于基线方法，任务完成率提高了20%以上，且在复杂场景下的协调能力表现尤为突出，验证了其有效性和实用性。

🎯 应用场景

DuoMind的研究成果在多个领域具有广泛的应用潜力，包括智能制造、无人机编队、自动驾驶车辆以及灾难救援等场景。通过实现高效的多机器人协调，该框架能够提升任务执行的效率和可靠性，推动相关技术的实际应用和发展。

📄 摘要（原文）

Vision-language models (VLMs) and vision-language-action models (VLAs) have recently driven rapid progress in general-purpose robots, yet most progress has focused on single-robot settings. Extending these capabilities to multi-robot systems remains challenging because robots must coordinate long-horizon behaviors while maintaining reliable, fine-grained execution. We introduce DuoMind, a distributed hierarchical framework for multi-robot coordination through semantic communication. Each robot uses a VLA-based action model for low-level execution and a VLM-based orchestrator for high-level reasoning and inter-agent coordination. At each planning step, the orchestrator at each robot reasons over the task instruction, local observations, and messages received from other robots. It then generates low-level instructions for the action model and semantic messages for peer robots. This architecture exploits the complementary strengths of pretrained models by combining the semantic reasoning capabilities of VLMs with the precise action-generation capabilities of VLAs. To address the scarcity of benchmarks for multi-robot coordination, we further develop RoboPoly, a benchmark comprising long-horizon manipulation tasks that require coordinated, closed-loop execution under distributed control. Experiments on RoboPoly and RoboTwin demonstrate that DuoMind improves multi-robot task performance, while ablation studies confirm the contributions of hierarchical orchestration and semantic communication. More details are available on our project page.