OPOD: On-Policy Omni Distillation
作者: Tong Zhao, Yuyang Hu, Yutao Zhu, Reed Li, Haijin Liang, Haibo Shi, Yu Lu, Zhicheng Dou
分类: cs.AI
发布日期: 2026-07-23 (更新: 2026-07-24)
💡 一句话要点
提出OPOD以解决多模态模型训练中的协调问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 蒸馏训练 教师指导 模型协调 性能提升
📋 核心要点
- 现有的多模态训练方法在提升不同模态能力时存在相互竞争的问题，导致整体性能下降。
- OPOD通过将学生的响应路由到对应的模态教师，优化了教师指导的选择和影响，提升了模型的学习效率。
- 在十二个基准测试中，OPOD在所有规模上均取得最佳平均分，显示出显著的性能提升。
📝 摘要（中文）
Omni-modal模型能够处理文本、图像和音频，但同时提升这些能力仍然困难。现有的多模态训练方法往往无法与专门针对单一模态的模型相匹敌。论文提出的On-Policy Omni Distillation (OPOD)方法，通过将学生生成的响应路由到相应的教师，优化了多模态模型的训练过程。OPOD在多个基准测试中表现优异，超越了最强对比模型，展示了协调模态特定教师的有效性。
🔬 方法详解
问题定义：论文要解决的问题是如何在多模态模型的训练中协调不同模态教师的指导，避免相互竞争导致的性能下降。现有方法在使用多个教师时，往往会出现某一模态的提升以牺牲其他模态为代价。
核心思路：论文提出的OPOD方法通过将学生生成的响应路由到对应的文本、图像或音频教师，确保学生学习到的指导是最相关的，从而提升整体模型的性能。设计上，OPOD只保留教师对学生生成的响应给予更高概率的部分进行指导，避免了不必要的干扰。
技术框架：OPOD的整体架构包括学生模型和多个模态教师。学生模型生成响应后，系统根据响应类型选择相应的教师进行评估。教师不仅评估最终答案，还检查推理过程是否支持正确答案。
关键创新：OPOD的主要创新在于通过动态路由机制选择教师指导，确保每个模态的教师只在其擅长的领域提供反馈。这种方法与传统的多教师指导方法不同，避免了模态间的竞争和干扰。
关键设计：在训练过程中，OPOD独立调整每个模态教师的影响力，并使用特定的损失函数来优化学生模型的学习效果。关键参数设置包括教师的概率阈值和评估标准，以确保教师的指导是有效的。
🖼️ 关键图片
📊 实验亮点
OPOD在十二个基准测试中表现优异，分别达到了70.8、51.7和46.2的平均分，超越了最强对比模型2.1、1.8和1.7分。在30B模型上，OPOD在所有基准测试中均优于基础模型和联合训练模型，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和音频处理等多模态任务。通过提升多模态模型的整体性能，OPOD可以在智能助手、自动内容生成和跨模态检索等实际场景中发挥重要作用，推动相关技术的进步和应用。
📄 摘要（原文）
Omni-modal models can handle text, images, and audio in one system, but improving all of these abilities together remains difficult. Training a single model on pooled multimodal data often fails to match models specialized for individual modalities. On-policy distillation (OPD) offers a way to combine such specialists: the student generates a response, and a teacher evaluates that same response, so the student learns directly from behaviors it actually produces. Yet using several teachers can introduce competing guidance and improve one modality at the expense of another. We present On-Policy Omni Distillation (OPOD), which routes each student response to the matching text, image, or audio teacher. OPOD keeps teacher guidance only on tokens where the teacher assigns a higher probability than the student, adjusts the influence of each modality teacher independently during training, and asks the routed teacher to assess both the final answer and whether the reasoning supports the correct answer. Across twelve benchmarks and three backbone sizes, OPOD achieves the best average score at every scale, reaching 70.8, 51.7, and 46.2 and exceeding the strongest comparator by 2.1, 1.8, and 1.7 points. On the 30B model, it outperforms both the base model and a counterpart post-trained jointly on pooled multimodal data on all twelve benchmarks, and ranks first or second on eleven even when the individual specialists are included. The specialists are discarded after training, leaving one deployable omni-modal model. These results show that coordinating modality-specific teachers is an effective way to improve a shared model while maintaining cross-modal balance.