SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy
作者: Wei Yao, Haohan Ma, Hongwen Zhang, Yunlian Sun, Liangjun Xing, Zhile Yang, Yuanjun Guo, Yebin Liu, Jinhui Tang
分类: cs.CV
发布日期: 2026-04-20
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
SynAgent：通过单人到多人协同技能迁移实现通用人形机器人协同操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 协同操作 人形机器人 技能迁移 强化学习 条件VAE
📋 核心要点
- 现有协同人形机器人操作方法面临数据稀缺、多智能体协调复杂以及泛化性不足等挑战。
- SynAgent通过单人到多人协同的技能迁移，利用交互网格保持语义完整性，实现可扩展的协同操作。
- 实验表明，SynAgent在协同模仿和轨迹条件控制方面显著优于现有基线，并具备良好的泛化能力。
📝 摘要（中文）
本文提出了SynAgent，一个统一的框架，通过利用单人到多人协同的智能体协同，将技能从单人人-物交互转移到多人人-物-人场景，从而实现可扩展且物理上合理的协同操作。为了在运动转移过程中保持语义完整性，我们引入了一种基于交互网格的交互保持重定向方法，该方法通过Delaunay四面体剖分构建，忠实地保持了人与物体之间的空间关系。在此基础上，我们提出了一种单智能体预训练和适应范式，通过分散训练和多智能体PPO，从丰富的单人数据中引导协同行为。最后，我们开发了一种轨迹条件生成策略，使用条件VAE，通过从运动模仿先验的多教师蒸馏进行训练，以实现稳定和可控的物体级轨迹执行。大量实验表明，SynAgent在协同模仿和轨迹条件控制方面显著优于现有基线，同时推广到不同的物体几何形状。代码和数据将在发布后提供。
🔬 方法详解
问题定义：论文旨在解决可控的协同人形机器人操作问题。现有方法面临数据稀缺，难以训练；多智能体协调复杂，难以控制；以及对不同物体几何形状的泛化能力有限等痛点。
核心思路：论文的核心思路是利用单人到多人协同的智能体协同，将单人人-物交互的技能迁移到多人人-物-人场景。通过这种方式，可以利用大量单人数据进行预训练，从而缓解数据稀缺问题，并学习到通用的协同操作技能。
技术框架：SynAgent框架包含以下几个主要模块：1) 交互网格构建：通过Delaunay四面体剖分构建交互网格，用于保持人与物体之间的空间关系。2) 交互保持重定向：基于交互网格，实现运动的语义完整性转移。3) 单智能体预训练和适应：利用单人数据进行预训练，然后通过分散训练和多智能体PPO进行适应，学习协同行为。4) 轨迹条件生成策略：使用条件VAE，通过多教师蒸馏从运动模仿先验中学习，实现稳定和可控的物体级轨迹执行。
关键创新：论文的关键创新在于提出了一个统一的框架，能够将单人技能迁移到多人协同操作中。通过交互网格和交互保持重定向，保证了运动转移过程中的语义完整性。此外，单智能体预训练和适应范式以及轨迹条件生成策略也为协同操作的实现提供了有效的解决方案。与现有方法相比，SynAgent能够更好地利用单人数据，实现更强的泛化能力和可控性。
关键设计：论文中使用了Delaunay四面体剖分来构建交互网格，具体实现细节未知。条件VAE的具体网络结构和训练参数未知。多教师蒸馏中，教师模型的选择和蒸馏损失函数的具体形式未知。PPO算法的具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
SynAgent在协同模仿和轨迹条件控制方面显著优于现有基线。具体性能数据未知，但论文强调了其在不同物体几何形状上的泛化能力。通过单人到多人协同的技能迁移，SynAgent能够更好地利用单人数据，实现更强的泛化能力和可控性。
🎯 应用场景
SynAgent的研究成果可以应用于多个领域，例如：人机协作机器人、智能家居、辅助医疗等。在这些场景中，多个机器人或机器人与人需要协同完成复杂的任务，例如搬运重物、组装零件等。SynAgent可以提供一种通用的解决方案，使得机器人能够更好地理解人类的意图，并与人类协同完成任务，提高工作效率和安全性。未来，该技术有望应用于更广泛的领域，例如自动驾驶、智能制造等。
📄 摘要（原文）
Controllable cooperative humanoid manipulation is a fundamental yet challenging problem for embodied intelligence, due to severe data scarcity, complexities in multi-agent coordination, and limited generalization across objects. In this paper, we present SynAgent, a unified framework that enables scalable and physically plausible cooperative manipulation by leveraging Solo-to-Cooperative Agent Synergy to transfer skills from single-agent human-object interaction to multi-agent human-object-human scenarios. To maintain semantic integrity during motion transfer, we introduce an interaction-preserving retargeting method based on an Interact Mesh constructed via Delaunay tetrahedralization, which faithfully maintains spatial relationships among humans and objects. Building upon this refined data, we propose a single-agent pretraining and adaptation paradigm that bootstraps synergistic collaborative behaviors from abundant single-human data through decentralized training and multi-agent PPO. Finally, we develop a trajectory-conditioned generative policy using a conditional VAE, trained via multi-teacher distillation from motion imitation priors to achieve stable and controllable object-level trajectory execution. Extensive experiments demonstrate that SynAgent significantly outperforms existing baselines in both cooperative imitation and trajectory-conditioned control, while generalizing across diverse object geometries. Codes and data will be available after publication. Project Page: http://yw0208.github.io/synagent