MSG: Multi-Stream Generative Policies for Sample-Efficient Robotic Manipulation

📄 arXiv: 2509.24956v1 📥 PDF

作者: Jan Ole von Hartz, Lukas Schweizer, Joschka Boedecker, Abhinav Valada

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-09-29

💡 一句话要点

提出多流生成策略MSG，提升机器人操作任务的样本效率和泛化能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 生成式策略 样本效率 多流学习 对象中心 策略组合 零样本迁移

📋 核心要点

  1. 生成式机器人策略（如Flow Matching）虽然灵活，但样本效率低，难以在实际机器人任务中应用。
  2. MSG通过训练多个对象中心策略，并在推理时组合它们，从而提高泛化能力和样本效率。
  3. 实验表明，MSG仅需少量演示即可学习高质量策略，显著提升了策略性能，并实现了零样本迁移。

📝 摘要（中文）

本文提出了一种名为多流生成策略（MSG）的推理期组合框架，旨在提高生成式机器人策略的样本效率。MSG训练多个以对象为中心的策略，并在推理时组合它们，从而提升泛化能力和样本效率。MSG与模型无关且仅在推理时使用，因此可广泛应用于各种生成策略和训练范式。大量的仿真和真实机器人实验表明，该方法仅需少量（5个）演示即可学习高质量的生成策略，与单流方法相比，演示次数减少了95%，策略性能提高了89%。此外，论文还对各种组合策略进行了全面的消融研究，并为部署提供了实用的建议。最后，MSG实现了零样本对象实例迁移。代码已公开。

🔬 方法详解

问题定义：现有的生成式机器人策略，例如基于Flow Matching的方法，虽然具有灵活性和多模态学习能力，但样本效率较低，需要大量的演示数据才能训练出有效的策略。虽然以对象为中心的策略可以提高样本效率，但并没有完全解决这个问题。因此，如何提高生成式机器人策略的样本效率，使其能够从少量演示中学习，是本文要解决的关键问题。

核心思路：MSG的核心思路是将策略学习分解为多个以对象为中心的子策略，每个子策略专注于处理特定的对象或对象交互。在推理时，通过组合这些子策略来生成最终的机器人动作。这种分解和组合的方式可以有效地利用少量演示数据，提高策略的泛化能力和样本效率。通过专注于对象，策略可以更好地理解场景并做出相应的决策。

技术框架：MSG是一个推理期组合框架，包含以下主要步骤：1) 训练多个对象中心策略。每个策略都独立训练，专注于特定的对象或对象交互。2) 在推理时，根据当前场景选择合适的策略组合。3) 将选定的策略的输出进行组合，生成最终的机器人动作。策略组合的方式可以是加权平均、选择最佳策略等。MSG框架与具体的生成策略模型无关，可以与各种生成策略模型结合使用。

关键创新：MSG的关键创新在于提出了多流生成策略的组合框架，通过将策略学习分解为多个对象中心策略，并在推理时进行组合，从而显著提高了样本效率和泛化能力。与传统的单流生成策略相比，MSG能够更好地利用少量演示数据，学习到更鲁棒和泛化的策略。此外，MSG的推理期组合方式使得其可以灵活地适应不同的场景和任务。

关键设计：MSG的关键设计包括：1) 对象中心策略的设计：每个策略都以对象为中心，输入包括对象的状态、位置等信息，输出为机器人相对于对象的动作。2) 策略组合方式的设计：论文研究了多种策略组合方式，包括加权平均、选择最佳策略等。3) 损失函数的设计：论文使用了标准的生成策略损失函数，例如Flow Matching损失函数。4) 网络结构的设计：论文使用了标准的神经网络结构，例如MLP、CNN等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MSG在仿真和真实机器人实验中均取得了显著的性能提升。在仅使用5个演示的情况下，MSG能够学习到高质量的生成策略，与单流方法相比，演示次数减少了95%，策略性能提高了89%。此外，MSG还实现了零样本对象实例迁移，即在没有见过的新对象实例上也能成功执行任务。消融实验表明，策略组合方式对性能有重要影响。

🎯 应用场景

MSG具有广泛的应用前景，可以应用于各种机器人操作任务，例如抓取、放置、装配等。该方法可以显著减少机器人学习所需的演示数据，降低部署成本，并提高机器人在复杂环境中的适应能力。此外，MSG还可以应用于虚拟现实、游戏等领域，生成更自然和智能的虚拟角色动作。

📄 摘要（原文）

Generative robot policies such as Flow Matching offer flexible, multi-modal policy learning but are sample-inefficient. Although object-centric policies improve sample efficiency, it does not resolve this limitation. In this work, we propose Multi-Stream Generative Policy (MSG), an inference-time composition framework that trains multiple object-centric policies and combines them at inference to improve generalization and sample efficiency. MSG is model-agnostic and inference-only, hence widely applicable to various generative policies and training paradigms. We perform extensive experiments both in simulation and on a real robot, demonstrating that our approach learns high-quality generative policies from as few as five demonstrations, resulting in a 95% reduction in demonstrations, and improves policy performance by 89 percent compared to single-stream approaches. Furthermore, we present comprehensive ablation studies on various composition strategies and provide practical recommendations for deployment. Finally, MSG enables zero-shot object instance transfer. We make our code publicly available at https://msg.cs.uni-freiburg.de.