MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models

📄 arXiv: 2607.09029v1 📥 PDF

作者: Yuncheng Yang, Feiyang Ye, Shixian Luo, Yinna Zhu, Lianlei Shan, Wangcai Zhao, Kuo Zhang, Yan Chen, Yong Wu, Yan Xie

分类: cs.CV

发布日期: 2026-07-10

备注: 17 pages, 7 figures

💡 一句话要点

提出MOSAIC以解决异构视觉语言模型的优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 异构架构 多目标优化 硬件适应性 蒸馏训练 推理效率 Transformer

📋 核心要点

  1. 现有的视觉语言模型主要依赖同质Transformer架构，缺乏灵活性和适应性，难以优化性能和推理延迟。
  2. MOSAIC通过自动化搜索异构架构，集成多种高效机制，解决了手工设计的局限性，提升了模型的适应性和性能。
  3. 实验表明，MOSAIC-4B在多个基准测试中与基线模型性能相当，同时推理效率显著提升，达到1.76倍的预填充和2.54倍的解码速度提升。

📝 摘要（中文）

视觉语言模型（VLMs）在处理多媒体数据时取得了成功，然而现有方法依赖于手工设计的静态混合模式，难以适应特定硬件。为此，本文提出了多目标搜索的自适应层间组合方法MOSAIC，旨在自动将同质模型转化为优化的异构架构。MOSAIC通过将线性、稀疏和低秩操作集成到统一的搜索空间中，利用多目标混合整数规划（MIP）问题来识别在严格硬件延迟约束下的最佳配置。实验结果表明，MOSAIC-4B在多个基准测试中与基线性能相当，同时训练成本低于2%。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在硬件适应性和性能优化方面的不足，尤其是手工设计的静态混合模式的局限性。

核心思路：MOSAIC通过多目标搜索方法，自动将同质模型转化为异构架构，集成多种高效机制，以提高性能和推理效率。

技术框架：MOSAIC的整体架构包括一个统一的搜索空间，涵盖线性、稀疏和低秩操作，利用多目标混合整数规划（MIP）来优化配置，并通过两阶段参数恢复过程来稳定模型性能。

关键创新：MOSAIC的主要创新在于其硬件感知的自适应搜索机制，能够动态调整模型架构以适应特定硬件环境，显著提升了推理效率和性能。

关键设计：在参数设置上，MOSAIC采用了全局离线策略蒸馏和双教师在线策略蒸馏，前者用于稳定内部表示，后者则利用235B的知识扩展和原始4B教师的分布稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MOSAIC-4B在多个基准测试中表现出色，与基线模型性能相当，同时训练成本低于2%。推理效率方面，预填充速度提升1.76倍，解码速度提升2.54倍，显示出显著的性能改进。

🎯 应用场景

MOSAIC的研究成果可广泛应用于多媒体内容处理、智能助手、自动驾驶等领域，提升视觉语言模型的性能和推理效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language Models (VLMs) have achieved success using homogeneous Transformers to process multimedia data. Recent studies show that heterogeneous structures interleaving efficient mechanisms, like linear attention, improve both performance and inference latency over homogeneous designs. However, these efforts rely on handcrafted static mixing patterns, which are sub-optimal and difficult to adapt to specific hardware. To bridge this gap, we propose Multi-Objective Search for Adaptive Inter-layer Composition (MOSAIC), a hardware-aware search method that automatically transforms homogeneous models into optimized heterogeneous architectures. MOSAIC integrates diverse efficiency mechanisms--including linear, sparse, and low-rank operators--into a unified search space. By formulating the selection as a multi-objective Mixed Integer Programming (MIP) problem, our method identifies optimal configurations that maximize downstream performance under strict hardware latency constraints. To mitigate performance degradation from structural transitions, we introduce a two-stage parameter recovery process: global off-policy distillation to stabilize internal representations, followed by a dual-teacher on-policy distillation leveraging a 235B oracle for knowledge expansion and the original 4B teacher for distributional stability. We validate MOSAIC through MOSAIC-4B, derived from Qwen3-VL-4B-Instruct. Results demonstrate that MOSAIC-4B matches the baseline's performance across multiple benchmarks while requiring less than 2% of the original training cost. Furthermore, it substantially improves inference efficiency, achieving 1.76x prefilling and 2.54x decoding speedups.