Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models

📄 arXiv: 2610.21522v1 📥 PDF

作者: Lichao Ni, Yuhan Liu, Pengfei Li, Guanghuan Fang

分类: cs.RO

发布日期: 2026-10-15

备注: 13 pages, 6 figures, 4 tables. Includes supplementary material

💡 一句话要点

提出多教师在线蒸馏方法以解决流式视觉-语言-动作模型的技能整合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线蒸馏 视觉-语言-动作 多教师模型 技能整合 流式模型

📋 核心要点

  1. 现有的视觉-语言-动作策略难以将多个领域的技能有效整合为一个共享策略，导致在实际应用中的性能下降。
  2. 论文提出了一种两级在线蒸馏框架，通过结合学生驱动的环境交互与教师的速度监督，解决了分布不匹配的问题。
  3. 实验结果表明，速度损失OPD在多个基准数据集上显著提升了成功率，尤其在长序列任务中表现更为突出。

📝 摘要（中文）

专门化的视觉-语言-动作（VLA）策略能够获得强大的领域特定技能，但将这些技能整合为一个共享策略仍然具有挑战性。在线蒸馏（OPD）通过学生驱动的输入转移教师知识，解决了部署过程中遇到的分布不匹配问题。针对流式VLA，这种不匹配在环境观察和中间动作生成状态两个层面上均存在。我们提出了一种两级在线蒸馏框架，将学生驱动的环境交互与教师速度监督结合在一起。经过每次更新后，学生收集新的环境经验并生成新的动作流轨迹。基于联合监督微调（SFT）初始化，速度损失OPD在LIBERO-40、CALVIN和Meta-World MT50上分别取得了22.55%、33.4%和22.6%的绝对成功率提升。

🔬 方法详解

问题定义：本论文旨在解决流式视觉-语言-动作模型在技能整合中的分布不匹配问题，现有方法在实际应用中难以有效迁移多个领域的知识。

核心思路：提出的两级在线蒸馏框架通过学生驱动的环境交互与教师速度监督相结合，旨在提高模型在不同环境中的适应性和性能。

技术框架：该框架包括教师模型的冻结、学生模型的训练、环境经验的收集以及动作流轨迹的生成。学生在每次更新后都会收集新的环境数据，并生成新的动作流轨迹以进行学习。

关键创新：最重要的创新在于通过速度损失OPD实现了教师知识的有效转移，解决了传统方法中存在的分布不匹配问题，增强了模型的多领域能力。

关键设计：在损失函数设计上，采用速度损失与动作损失相结合的方式，确保学生模型在学习过程中能够充分利用教师的知识，同时保持对新环境的适应性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，速度损失OPD在LIBERO-40上提升了22.55%的成功率，在CALVIN五指令序列上提升了33.4%，在Meta-World MT50上提升了22.6%。与其他方法相比，速度损失OPD在多个数据集上均实现了显著的性能提升，尤其在长序列任务中效果更为明显。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等多模态交互系统。通过有效整合不同领域的技能，能够提升系统在复杂环境中的决策能力和执行效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Specialized vision-language-action (VLA) policies acquire strong domain-specific skills, yet consolidating these skills into one shared policy remains challenging. On-policy distillation (OPD) transfers teacher knowledge on inputs induced by the student, addressing the distribution mismatch encountered during deployment. For flow-based VLAs, this mismatch arises at two levels: environment observations and intermediate action-generation states. We propose a two-level on-policy distillation framework that couples student-driven environment interaction with teacher velocity supervision along student-generated action flow trajectories. Frozen domain specialists jointly supervise one student. After each update, the student collects new environment experience and generates fresh action-flow trajectories. Starting from a joint supervised fine-tuning (SFT) initialization, Velocity Loss OPD yields absolute success-rate gains of 22.55% on LIBERO-40, 33.4% on CALVIN five-instruction sequences, and 22.6% on Meta-World MT50. Compared with Action Loss OPD and Teacher-rollout SFT, it achieves absolute success-rate gains of 6.4-9.5% on LIBERO-40, 9.7-18.3% on CALVIN, and 3.2-4.2% on Meta-World MT50. Analysis by sequence length further shows larger success-rate gains on longer CALVIN sequences. These results demonstrate effective multi-domain capability consolidation through two-level on-policy supervision, with a single student deployed across domains.