CoEnv: Driving Embodied Multi-Agent Collaboration via Compositional Environment
作者: Li Kang, Yutao Fan, Rui Li, Heng Zhou, Yiran Qin, Zhemeng Zhang, Songtao Huang, Xiufeng Song, Zaibin Zhang, Bruno N. Y. Chen, Zhenfei Yin, Dongzhan Zhou, Wangmeng Zuo, Lei Bai
分类: cs.RO, cs.CV
发布日期: 2026-04-07
备注: 31 pages, 8 figures, including supplementary material. Project page: https://faceong.github.io/CoEnv/
💡 一句话要点
CoEnv：通过组合环境驱动具身多智能体协作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体协作 具身智能 组合环境 视觉语言模型 模拟到真实迁移
📋 核心要点
- 多智能体具身协作面临空间协调、时间推理和共享工作空间感知的难题。
- CoEnv通过组合真实世界和模拟环境，使智能体在统一决策空间内感知意图并安全探索策略。
- 实验表明，CoEnv在多臂操作任务中实现了高成功率和执行效率，验证了其有效性。
📝 摘要（中文）
多智能体具身系统在复杂协作操作方面具有潜力，但面临空间协调、时间推理和共享工作空间感知等关键挑战。受人类协作中认知规划与物理执行分离的启发，我们引入了组合环境的概念——真实世界和模拟组件的协同集成，使多个机器人智能体能够在统一的决策空间内感知意图并进行操作。基于此，我们提出了CoEnv框架，该框架利用模拟进行安全策略探索，同时确保可靠的真实世界部署。CoEnv通过三个阶段运行：真实到模拟的场景重建，数字化物理工作空间；VLM驱动的动作合成，支持具有高级接口的实时规划和基于代码的轨迹生成的迭代规划；以及经过验证的模拟到真实的迁移，具有碰撞检测功能，可实现安全部署。在具有挑战性的多臂操作基准上的大量实验表明，CoEnv在实现高任务成功率和执行效率方面的有效性，为多智能体具身人工智能建立了一种新的范例。
🔬 方法详解
问题定义：论文旨在解决多智能体具身协作中空间协调、时间推理以及共享工作空间感知的难题。现有方法难以在保证安全性的前提下，有效地进行策略探索和真实环境部署，尤其是在复杂操作任务中，鲁棒性和效率都面临挑战。
核心思路：CoEnv的核心思路是将真实环境与模拟环境相结合，构建一个组合环境。通过模拟环境进行策略探索和优化，降低真实环境中的风险，并利用视觉语言模型（VLM）驱动动作合成，实现高层接口的实时规划和基于代码的轨迹生成，从而提高协作效率和安全性。
技术框架：CoEnv框架包含三个主要阶段：1) 真实到模拟的场景重建：将物理工作空间数字化，构建模拟环境；2) VLM驱动的动作合成：利用VLM进行动作规划，支持实时规划和迭代规划；3) 验证的模拟到真实的迁移：通过碰撞检测等手段，确保策略在真实环境中的安全部署。整个流程形成一个闭环，不断优化智能体的协作策略。
关键创新：CoEnv的关键创新在于组合环境的概念，它将真实环境和模拟环境有机结合，充分利用了模拟环境的安全性和可控性，以及真实环境的真实性和复杂性。此外，VLM驱动的动作合成也为智能体提供了更高级别的控制接口，简化了规划过程。
关键设计：在场景重建阶段，可能采用了三维重建技术，如RGB-D相机或激光雷达扫描。VLM驱动的动作合成可能使用了预训练的VLM模型，并针对具体任务进行了微调。在模拟到真实的迁移阶段，采用了碰撞检测算法，并可能使用了域适应技术来减小模拟环境和真实环境之间的差异。具体的参数设置、损失函数和网络结构等细节可能在论文的补充材料中给出。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoEnv在多臂操作基准测试中取得了显著的性能提升，实现了更高的任务成功率和执行效率。具体数据未知，但摘要强调了其在具有挑战性的任务上的有效性，暗示了CoEnv相较于现有方法有明显的优势。
🎯 应用场景
CoEnv框架可应用于各种多智能体协作场景，例如：协同装配、物流搬运、医疗手术等。该研究有助于提升机器人协作的智能化水平，降低开发和部署成本，并有望在制造业、服务业等领域实现广泛应用，提高生产效率和服务质量。
📄 摘要（原文）
Multi-agent embodied systems hold promise for complex collaborative manipulation, yet face critical challenges in spatial coordination, temporal reasoning, and shared workspace awareness. Inspired by human collaboration where cognitive planning occurs separately from physical execution, we introduce the concept of compositional environment -- a synergistic integration of real-world and simulation components that enables multiple robotic agents to perceive intentions and operate within a unified decision-making space. Building on this concept, we present CoEnv, a framework that leverages simulation for safe strategy exploration while ensuring reliable real-world deployment. CoEnv operates through three stages: real-to-sim scene reconstruction that digitizes physical workspaces, VLM-driven action synthesis supporting both real-time planning with high-level interfaces and iterative planning with code-based trajectory generation, and validated sim-to-real transfer with collision detection for safe deployment. Extensive experiments on challenging multi-arm manipulation benchmarks demonstrate CoEnv's effectiveness in achieving high task success rates and execution efficiency, establishing a new paradigm for multi-agent embodied AI.