OPOD: On-Policy Omni Distillation
作者: Tong Zhao, Yuyang Hu, Reed Li, Yu Lu, Haibo Shi, Yutao Zhu, Zhicheng Dou
分类: cs.AI
发布日期: 2026-07-23
💡 一句话要点
提出OPOD以解决多模态模型训练中的平衡问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 蒸馏训练 模型优化 跨模态平衡 智能助手 知识传递
📋 核心要点
- 现有的多模态模型在处理不同模态时存在性能不均衡的问题，联合训练难以达到单一模态专家的效果。
- OPOD通过将学生的响应路由到相应的教师，确保教师只在其评估高于学生的情况下提供指导，从而优化了训练过程。
- 在十二个基准测试中，OPOD在所有规模上均取得最佳平均分，展示了其在多模态学习中的显著优势。
📝 摘要（中文）
Omni-modal模型能够处理文本、图像和音频等多种模态，但同时提升这些能力仍然具有挑战性。现有的多模态数据联合训练方法往往无法与专门针对单一模态的模型相匹敌。本文提出的On-Policy Omni Distillation (OPOD)方法，通过将每个学生的响应路由到相应的文本、图像或音频教师，优化了教师的指导策略，确保在训练过程中保持跨模态的平衡。实验结果表明，OPOD在多个基准测试中均表现优异，超越了最强对比模型，展示了协调模态特定教师的有效性。
🔬 方法详解
问题定义：论文要解决的问题是如何在多模态模型中有效提升各个模态的性能，同时避免模态间的相互竞争。现有方法在使用多个教师时，可能导致某一模态的提升以牺牲其他模态为代价。
核心思路：OPOD的核心思路是将学生生成的响应路由到相应的模态教师，确保教师的指导仅在其评估高于学生的情况下进行，从而实现更有效的知识传递。
技术框架：OPOD的整体架构包括学生模型和多个模态教师。学生生成响应后，系统根据响应类型选择相应的教师进行评估，教师不仅评估最终答案，还检查推理过程的合理性。
关键创新：OPOD的关键创新在于通过动态路由机制和独立调整各模态教师的影响力，解决了多模态训练中的平衡问题。这一设计与传统的联合训练方法有本质区别。
关键设计：在训练过程中，OPOD对教师的指导进行动态调整，确保教师的影响力与学生的表现相匹配。此外，损失函数设计考虑了教师对推理过程的评估，增强了模型的学习效果。
🖼️ 关键图片
📊 实验亮点
在实验中，OPOD在三个不同规模的模型上均取得了优异的成绩，分别达到了70.8、51.7和46.2的平均分，超越了最强对比模型2.1、1.8和1.7分。在30B模型上，OPOD在所有十二个基准测试中均优于基础模型和联合训练模型，显示出其卓越的性能。
🎯 应用场景
该研究的潜在应用场景包括智能助手、自动内容生成、跨模态检索等领域。通过提升多模态模型的综合性能，OPOD能够为用户提供更为精准和丰富的交互体验，未来可能在教育、娱乐和信息检索等多个行业产生深远影响。
📄 摘要（原文）
Omni-modal models can handle text, images, and audio in one system, but improving all of these abilities together remains difficult. Training a single model on pooled multimodal data often fails to match models specialized for individual modalities. On-policy distillation (OPD) offers a way to combine such specialists: the student generates a response, and a teacher evaluates that same response, so the student learns directly from behaviors it actually produces. Yet using several teachers can introduce competing guidance and improve one modality at the expense of another. We present On-Policy Omni Distillation (OPOD), which routes each student response to the matching text, image, or audio teacher. OPOD keeps teacher guidance only on tokens where the teacher assigns a higher probability than the student, adjusts the influence of each modality teacher independently during training, and asks the routed teacher to assess both the final answer and whether the reasoning supports the correct answer. Across twelve benchmarks and three backbone sizes, OPOD achieves the best average score at every scale, reaching 70.8, 51.7, and 46.2 and exceeding the strongest comparator by 2.1, 1.8, and 1.7 points. On the 30B model, it outperforms both the base model and a counterpart post-trained jointly on pooled multimodal data on all twelve benchmarks, and ranks first or second on eleven even when the individual specialists are included. The specialists are discarded after training, leaving one deployable omni-modal model. These results show that coordinating modality-specific teachers is an effective way to improve a shared model while maintaining cross-modal balance.