Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching

📄 arXiv: 2609.28107v1 📥 PDF

作者: Shreya Deshmukh, Imen Mahdi, Nick Heppert, Abhinav Valada

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-09-23

💡 一句话要点

通过条件流匹配蒸馏实现高效的多任务操作策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 条件流匹配 知识蒸馏 多任务学习 机器人操作 政策学习

📋 核心要点

  1. 现有方法在多任务学习中面临计算成本高和性能下降的挑战，尤其是在处理复杂任务时。
  2. 本研究提出通过知识蒸馏将单任务CFM专家的学习速度场转移到共享的多任务政策中，以提高效率。
  3. 实验结果表明，该方法在RLBench上显著提升了多任务政策的性能，相较于简单训练方法表现更佳。

📝 摘要（中文）

近年来，生成建模的进展在机器人政策学习中得到了广泛应用。特别是，使用专家演示训练的条件流匹配（CFM）在机器人操作基准测试中表现优于现有方法。尽管之前的研究主要集中在单任务设置上，但本研究从多任务的角度探讨该问题，因为为每个任务训练独立模型的计算成本较高。多任务政策学习面临自身的挑战，简单地在连接的数据集上训练要么需要增加模型容量以适应复杂性，要么会导致性能下降。我们提出通过转移单任务CFM专家的学习速度场，将知识蒸馏到共享的多任务政策中。我们将这一蒸馏信号与原始CFM目标相结合，以保持对演示的保真度。RLBench上的实验表明，我们的方法在保持固定模型大小的同时，改善了多任务政策的性能。

🔬 方法详解

问题定义：本论文旨在解决多任务操作策略学习中的计算成本高和性能下降的问题。现有方法在处理多任务时，通常需要为每个任务训练独立模型，导致资源浪费和效率低下。

核心思路：论文提出通过蒸馏单任务CFM专家的知识，转移其学习的速度场到一个共享的多任务政策中。这样设计的目的是在保持模型大小不变的情况下，提升多任务学习的性能。

技术框架：整体架构包括两个主要模块：单任务CFM专家模型和共享的多任务政策模型。首先，单任务模型通过专家演示进行训练，学习速度场；然后，将这些速度场蒸馏到多任务模型中，同时结合原始CFM目标进行优化。

关键创新：最重要的技术创新点在于通过知识蒸馏实现了多任务政策的共享学习，避免了传统方法中模型容量增加的需求。这一方法显著提高了多任务学习的效率和效果。

关键设计：在技术细节上，论文设计了特定的损失函数以平衡蒸馏信号与CFM目标的结合，同时保持模型的结构简单，确保在固定模型大小下实现性能提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提方法在RLBench基准测试中，相较于简单训练方法，性能提升显著，具体提升幅度未知，且在保持固定模型大小的情况下，成功实现了多任务操作的高效学习。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化生产线和人机协作等场景。通过提高多任务学习的效率，该方法能够在资源有限的情况下，快速适应多种操作任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Advances in generative modeling have recently been extensively employed in robotics for policy learning. In particular, Conditional Flow Matching (CFM) trained with expert demonstrations has been shown to outperform existing methods on robot manipulation benchmarks. While prior work has mainly focused on single-task settings, we study the problem from a multi-task perspective, as training independent models for each task is computationally expensive. Multi-Task policy learning comes with its own set of challenges, as naively training on a concatenated dataset of demonstrations would either require increased model capacity to accommodate the added complexity or result in drops in performance. We propose to distill knowledge from single-task CFM experts into a shared multi-task policy by transferring their learned velocity fields. We combine this distillation signal with the original CFM objective to retain fidelity to the demonstrations. Experiments on RLBench show that our approach improves multi-task policy performance over naive training while maintaining a fixed model size.