RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations
作者: Dorian Benhamou Goldfajn, Mason Nakamura, Saaduddin Mahmud, Justin Svegliato, Kyle H. Wray, Shlomo Zilberstein
分类: cs.RO, cs.AI
发布日期: 2026-09-21
💡 一句话要点
提出RoboTalk以解决多机器人协作中的通信与协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多机器人协作 自然语言通信 视觉语言模型 合成数据生成 多模态学习 去中心化操作 移动操作 厨房任务
📋 核心要点
- 现有的多机器人协作方法在部分可观测性下的通信与协调能力不足，导致效率低下。
- RoboTalk通过合成数据生成和多模态轨迹数据集，促进小型视觉语言模型的学习与应用。
- 实验结果显示，微调后的模型在新任务上的成功率达到77%，相比未调优模型有显著提升。
📝 摘要（中文）
多机器人协作能够为复杂的机器人任务提供更高效和可扩展的解决方案，但在部分可观测性下的协作仍然面临挑战。自然语言通信为在这种情况下协调机器人提供了有前景的方法。然而，在去中心化的操作中，从多模态示范中共同学习明确的机器人间通信和技能级别的行动选择仍未得到充分探索。为了解决这一问题，本文提出了RoboTalk，一个合成数据生成管道和数据集，涵盖了7,950条多模态轨迹，涉及53个移动操作厨房任务，用于训练小型视觉语言模型（VLMs）进行通信和协调。数据集包括领导-跟随规划协议、工具调用（感知、操作、导航和通信）、推理轨迹和多样化的自然语言通信。对开源模型进行微调后，在新任务上的成功率达到77%，显著高于未调优模型的约2%。
🔬 方法详解
问题定义：本文旨在解决多机器人协作中的通信与协调问题，尤其是在部分可观测性下的去中心化操作中，现有方法在这方面的表现较差。
核心思路：RoboTalk通过生成合成数据和构建多模态轨迹数据集，使小型视觉语言模型能够学习有效的机器人间通信和协调策略，从而提升协作效率。
技术框架：RoboTalk的整体架构包括数据生成管道、数据集构建和模型训练三个主要模块。数据生成管道负责创建多模态轨迹，数据集则用于训练和评估模型，最后通过微调开源模型实现性能提升。
关键创新：RoboTalk的创新之处在于其合成数据生成方法和多模态轨迹数据集的构建，特别是针对小型视觉语言模型的优化，使其能够在实际应用中实现有效的通信与协调。
关键设计：在模型训练中，采用了多样化的自然语言通信和领导-跟随规划协议，设计了适应性损失函数以优化模型的学习效果，同时确保了数据集的多样性和代表性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，微调后的模型在新任务上的成功率达77%，相比于未调优的开源模型（成功率约2%）有了显著的提升，展示了RoboTalk在多机器人协作中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括智能家居、协作机器人、自动化厨房等场景，能够显著提升多机器人系统在复杂任务中的协作能力。未来，RoboTalk的技术可以扩展到其他领域，如无人机编队、物流配送等，具有广泛的实际价值和影响。
📄 摘要（原文）
Multi-robot collaboration could enable more efficient and scalable solutions to complex robotic tasks, but collaboration under partial observability remains challenging. Natural-language communication offers a promising approach to coordinating robots under partial observability. However, in decentralized manipulation, jointly learning explicit inter-robot communication and skill-level action selection from multimodal demonstrations remains underexplored for small vision-language models (VLMs) intended for on-device deployment. To address this gap, we introduce RoboTalk, a synthetic data-generation pipeline and dataset of 7,950 multimodal trajectories spanning 53 mobile-manipulation kitchen tasks for training small VLMs to communicate and coordinate. The dataset includes a leader-follower planning protocol, tool calls (perception, manipulation, navigation, and communication), rationale traces, and diversified natural-language communication. Fine-tuning open-source models on our dataset can reach 77% success on novel held-out tasks, a significant improvement over the untuned open source models, which had a success rate of around ~2%.