How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining

📄 arXiv: 2609.35457v1 📥 PDF

作者: Lin Chen, Bolin Ni, Qi Yang, Lan Jiang, Kun Ding, Xiaoran Fan, Hower Yang, Ying Wang, Shiming Xiang

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出无编码器多模态预训练方法以提升模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 无编码器模型 视觉处理 语言模型 预训练 计算效率 模型扩展性

📋 核心要点

  1. 现有多模态大语言模型普遍依赖预训练的视觉编码器，限制了模型的灵活性与扩展性。
  2. 本文提出无编码器的多模态预训练方法，直接从原始像素学习视觉表示，简化了模型架构。
  3. 研究表明，无编码器模型在大规模计算下的表现有望赶上传统编码器模型，且视觉处理逐渐向早期层转移。

📝 摘要（中文）

大多数现代多模态大语言模型（MLLMs）依赖于预训练的视觉编码器来提供强大的视觉先验。然而，无编码器的MLLMs直接从原始像素中学习视觉表示，提供了一种简单统一的架构，但其扩展行为尚未系统性地表征。本文比较了无编码器与基于编码器的MLLMs的扩展规律，发现去除视觉编码器后，多模态目标的计算最优分配向更大模型倾斜，而文本目标几乎不变。无编码器模型在小规模下表现不佳，但预计在约$10^{22}$ FLOPs时将赶上。没有视觉编码器时，语言模型通过视觉特定适应来接管其角色，随着训练计算的增加，视觉标记之间的双向交互变得越来越有利。整体结果表明，预训练编码器提供的视觉先验优势随着规模的增加而减小，定位无编码器架构为多模态预训练的有前景方向。

🔬 方法详解

问题定义：本文旨在解决当前多模态大语言模型对视觉编码器的依赖问题，探讨无编码器模型的扩展行为及其性能表现。现有方法在灵活性和计算效率上存在局限性。

核心思路：论文提出通过直接从原始像素中学习视觉表示，构建无编码器的多模态模型。该方法旨在简化模型架构，同时保持多模态学习的有效性。

技术框架：整体架构包括输入原始像素、视觉标记的双向交互、以及语言模型的适应性调整。模型通过多层次的处理来实现视觉与语言的融合。

关键创新：最重要的技术创新在于去除视觉编码器后，语言模型通过视觉特定适应来接管视觉处理的角色，改变了传统多模态模型的设计思路。

关键设计：在模型设计中，采用了新的损失函数以平衡视觉与文本目标的学习，同时优化了计算资源的分配，确保在大规模计算下的有效性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，无编码器模型在小规模下表现不佳，但在达到约$10^{22}$ FLOPs时，性能有望与基于编码器的模型持平。此发现为多模态预训练提供了新的视角，强调了模型规模对性能的影响。

🎯 应用场景

该研究的潜在应用场景包括计算机视觉与自然语言处理的结合，如图像描述生成、视觉问答等。通过简化模型架构，未来可在资源受限的环境中实现更高效的多模态学习，推动相关领域的技术进步。

📄 摘要（原文）

Most modern multimodal large language models (MLLMs) build on a pretrained visual encoder that provides a strong visual prior. Encoder-free MLLMs instead learn visual representations directly from raw pixels, offering a simple and unified architecture, but their scaling behavior has not been systematically characterized. To fill this gap, we compare scaling laws for encoder-free and encoder-based MLLMs and report three main findings: (1) Removing the visual encoder shifts the compute-optimal allocation for the multimodal objective toward larger models, while leaving that for text nearly unchanged. (2) The two architectures exhibit nearly overlapping loss--compute frontiers on the text objective, but diverge on the multimodal objective: encoder-free models underperform at small scales yet are predicted to catch up at around $10^{22}$ FLOPs, well within practical pretraining budgets. (3) Without a visual encoder, the language model learns to take over its role via vision-specific adaptation: bidirectional interactions among visual tokens become increasingly beneficial as training compute grows, visual processing shifts toward earlier layers, and expert routing for visual tokens becomes more concentrated. Overall, our results indicate that the advantage of the visual prior provided by a pretrained encoder diminishes with scale, positioning encoder-free architectures as a promising direction for multimodal pretraining.