Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

📄 arXiv: 2604.10985v1 📥 PDF

作者: Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-04-13

备注: Preprint and under review

💡 一句话要点

研究LLM骨干演进对视觉语言模型的影响，揭示性能与任务依赖性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 大型语言模型 LLAMA模型 多模态推理 视觉问答

📋 核心要点

  1. 现有VLM难以有效利用快速发展的新型LLM骨干，缺乏对LLM演进如何影响VLM性能的深入理解。
  2. 该研究系统性地评估了不同LLM骨干（LLAMA-1, LLAMA-2, LLAMA-3）对VLM下游任务性能的影响，控制了视觉编码器、训练数据和后训练算法等变量。
  3. 实验表明，更新的LLM骨干并不总是提升VLM性能，性能提升与具体任务相关，并揭示了LLM在信息处理、置信度校准和表征稳定性方面的差异。

📝 摘要（中文）

视觉语言模型(VLM)通过利用强大的预训练大型语言模型(LLM)作为核心推理骨干而迅速发展。随着具有改进的推理、指令跟随和泛化能力的新型LLM的出现，迫切需要有效地更新现有的VLM以整合这些进步。然而，将新的LLM集成到VLM中，特别是不断发展的LLM如何促进多模态推理、对齐和特定任务的性能，仍未得到充分探索。鉴于预训练LLM骨干的快速发展，解决这一差距对于VLM开发至关重要。本研究对预训练LLM骨干的变化如何影响下游VLM任务性能进行了受控和系统的研究。通过保持视觉编码器、训练数据和后训练算法在基于LLAMA-1、LLAMA-2和LLAMA-3的VLM中相同，我们发现较新的LLM骨干并不总是带来更好的VLM，但性能取决于下游VLM任务。例如，在视觉问答任务中，较新的LLM骨干倾向于解决不同的问题，而不仅仅是更多的问题，并且我们的分析表明这是由模型处理信息方式的差异驱动的，包括更好校准的置信度和更稳定的内部表示。我们还发现，一些VLM能力似乎只出现在最新的LLM世代中，而主要依赖于视觉理解的任务几乎没有从较新的LLM骨干中受益。

🔬 方法详解

问题定义：论文旨在解决如何有效地将不断发展的新型LLM骨干集成到现有的视觉语言模型(VLM)中，并深入理解LLM的演进对VLM性能的影响。现有方法缺乏对不同LLM骨干对VLM多模态推理、对齐和特定任务性能的系统性研究，无法充分利用新型LLM的优势。

核心思路：论文的核心思路是通过控制变量的方法，系统性地评估不同LLM骨干（LLAMA-1, LLAMA-2, LLAMA-3）对VLM下游任务性能的影响。通过保持视觉编码器、训练数据和后训练算法不变，可以更清晰地观察LLM骨干变化带来的性能差异，并分析其内在原因。

技术框架：该研究的技术框架主要包括以下几个部分：1) 选择LLAMA-1, LLAMA-2, LLAMA-3作为LLM骨干；2) 构建基于这些LLM骨干的VLM模型；3) 在一系列下游VLM任务上评估这些模型的性能，例如视觉问答(VQA)；4) 分析不同LLM骨干对VLM性能的影响，包括信息处理方式、置信度校准和表征稳定性等。

关键创新：该研究的关键创新在于其系统性和控制变量的方法。通过保持视觉编码器、训练数据和后训练算法不变，可以更清晰地观察LLM骨干变化带来的性能差异，从而更深入地理解LLM演进对VLM性能的影响。此外，该研究还揭示了LLM在信息处理、置信度校准和表征稳定性方面的差异，为VLM的未来发展提供了新的思路。

关键设计：该研究的关键设计包括：1) 选择具有代表性的LLM骨干（LLAMA-1, LLAMA-2, LLAMA-3）；2) 选择具有代表性的下游VLM任务（例如视觉问答）；3) 使用相同的视觉编码器、训练数据和后训练算法；4) 采用合适的评估指标来衡量VLM的性能；5) 设计实验来分析LLM在信息处理、置信度校准和表征稳定性方面的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，更新的LLM骨干并不总是提升VLM性能，性能提升与具体任务相关。例如，在视觉问答任务中，较新的LLM骨干倾向于解决不同的问题，而非仅仅是更多的问题。分析表明，这是由于LLM在信息处理、置信度校准和表征稳定性方面的差异所致。一些VLM能力只出现在最新的LLM世代中，而依赖于视觉理解的任务几乎没有受益。

🎯 应用场景

该研究成果可应用于视觉语言模型的开发和优化，帮助研究人员和工程师选择合适的LLM骨干，并针对特定任务进行性能调优。此外，该研究还可以促进多模态人工智能的发展，为智能问答、图像理解、机器人等领域提供技术支持。

📄 摘要（原文）

Vision-Language Models (VLMs) have rapidly advanced by leveraging powerful pre-trained Large Language Models (LLMs) as core reasoning backbones. As new and more capable LLMs emerge with improved reasoning, instruction-following, and generalization, there is a pressing need to efficiently update existing VLMs to incorporate these advancements. However, the integration of new LLMs into VLMs, particularly how the evolving LLMs contribute to multimodal reasoning, alignment, and task-specific performance remains underexplored. Addressing this gap is important for VLM development, given the rapid evolution of pretrained LLM backbones. This study presents a controlled and systematic investigation of how changes in the pretrained LLM backbone affect downstream VLM task performance. By having the vision encoder, training data, and post-training algorithm remain same across LLAMA-1, LLAMA-2, and LLAMA-3 based VLMs, we find that newer LLM backbones do not always lead to better VLMs, but the performance depends on the downstream VLM task. For example, in visual question and answering tasks, newer LLM backbones tend to solve different questions rather than just more questions, and our analysis shows this is driven by differences in how the models process information, including better calibrated confidence and more stable internal representations. We also find that some VLM capabilities appear only in the newest LLM generation, while tasks that depend mainly on visual understanding see little benefit from a newer LLM backbone.