Language-Pretraining-Induced Bias: A Strong Foundation for General Vision Tasks

📄 arXiv: 2604.01833 📥 PDF

作者: Yaxin Luo, Zhiqiang Shen

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-04-06

💡 一句话要点

提出随机标签桥接训练，实现语言模型向视觉任务的有效迁移

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态学习 语言预训练 视觉任务 桥接训练 随机标签 模型迁移 领域自适应

📋 核心要点

  1. 现有方法难以有效利用大型语言模型进行视觉任务，主要原因是语言和视觉模态之间存在显著的参数空间差异。
  2. 论文提出随机标签桥接训练，通过模态适应学习器对齐LLM参数与视觉任务，无需手动标注。
  3. 实验表明，部分桥接训练即可有效利用LLM的预训练知识，为跨模态迁移提供新思路。

📝 摘要（中文）

语言预训练模型和视觉预训练模型中离群参数的比例差异显著，这使得跨模态（语言和视觉）任务比跨领域适应更具挑战性。因此，许多先前的研究侧重于跨领域迁移，而没有尝试桥接语言和视觉模态，他们认为由于参数空间差异，语言预训练模型不适合下游视觉任务。与此假设相反，我们表明，添加一个桥接训练阶段作为模态适应学习器，可以有效地将大型语言模型（LLM）参数与视觉任务对齐。具体来说，我们提出了一种简单而强大的解决方案：随机标签桥接训练，它不需要手动标注，并有助于LLM参数适应视觉基础任务。此外，我们的研究结果表明，部分桥接训练通常是有利的，因为LLM中的某些层表现出强大的基础属性，即使没有针对视觉任务进行微调，这些属性仍然有益。这一惊人的发现为直接在视觉模型中利用语言预训练参数开辟了新途径，并突出了部分桥接训练作为跨模态适应的实用途径的潜力。

🔬 方法详解

问题定义：现有方法难以将大型语言模型（LLM）的强大能力迁移到视觉任务中。主要痛点在于语言和视觉模态的参数空间存在显著差异，直接应用LLM会导致性能不佳。以往研究更侧重于跨领域迁移，而忽略了跨模态（语言-视觉）迁移的潜力。

核心思路：论文的核心思路是通过一个桥接训练阶段，使LLM的参数适应视觉任务。具体而言，利用随机标签桥接训练，在不需要人工标注的情况下，将LLM的参数空间与视觉任务的特征空间对齐。这种方法旨在克服模态差异，从而实现LLM在视觉任务上的有效应用。

技术框架：整体框架包含三个阶段：1) 预训练的LLM；2) 桥接训练阶段，使用随机标签数据进行训练，使LLM适应视觉任务；3) 在下游视觉任务上进行微调（可选）。核心在于桥接训练阶段，它充当了模态适应学习器，将LLM的知识迁移到视觉领域。

关键创新：最重要的创新点在于随机标签桥接训练策略。与传统方法不同，该方法不需要人工标注数据，而是利用随机分配的标签进行训练。这大大降低了数据标注成本，并使得LLM能够更好地适应视觉任务的特征分布。此外，论文还发现部分桥接训练即可取得良好效果，表明LLM的部分层具有通用的基础属性。

关键设计：桥接训练阶段的关键设计包括：1) 使用随机分配的标签生成训练数据；2) 选择合适的损失函数（如交叉熵损失）来优化LLM的参数；3) 探索不同层的桥接训练效果，确定最佳的桥接层数。具体参数设置和网络结构的选择取决于具体的LLM和视觉任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，随机标签桥接训练能够有效提升LLM在视觉任务上的性能。特别地，部分桥接训练在某些情况下甚至优于完全桥接训练，这表明LLM的部分层具有强大的通用特征表示能力。该研究为跨模态迁移学习提供了一种新的有效途径。

🎯 应用场景

该研究成果可应用于各种视觉任务，如图像分类、目标检测、图像分割等。通过利用预训练的LLM，可以提高视觉模型的性能，并降低对大规模标注数据的依赖。此外，该方法还可扩展到其他跨模态任务，如视频理解、视觉问答等，具有广阔的应用前景。

📄 摘要（原文）

The ratio of outlier parameters in language pre-training models and vision pre-training models differs significantly, making cross-modality (language and vision) inherently more challenging than cross-domain adaptation. As a result, many prior studies have focused on cross-domain transfer rather than attempting to bridge language and vision modalities, assuming that language pre-trained models are unsuitable for downstream visual tasks due to disparate parameter spaces. Contrary to this assumption, we show that adding a bridge training stage as a modality adaptation learner can effectively align Large Language Model (LLM) parameters with vision tasks. Specifically, we propose a simple yet powerful solution random label bridge training that requires no manual labeling and helps LLM parameters adapt to vision foundation tasks. Moreover, our findings reveal that partial bridge training is often advantageous, as certain layers in LLMs exhibit strong foundational properties that remain beneficial even without fine-tuning for visual tasks. This surprising discovery opens up new avenues for leveraging language pre-trained parameters directly within vision models and highlights the potential of partial bridge training as a practical pathway to cross-modality adaptation.