Can Linguistic Reasoning Vectors Enhance Multimodal Reasoning Ability?

📄 arXiv: 2609.31140v1 📥 PDF

作者: Ziyi Wang, Li Li, Aolin Zhou, Yankun Shen, Chonghan Liu, Shuxia Lin, Xu Yang

分类: cs.AI

发布日期: 2026-09-25

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出LIFT方法以恢复多模态模型的语言推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 语言模型 视觉语言模型 推理能力 向量干预 轻量级方法 知识转移

📋 核心要点

  1. 现有的视觉语言模型在多模态扩展过程中，语言推理能力往往会退化，无法有效利用基础LLM的推理能力。
  2. 本文提出LIFT方法，通过轻量级的向量干预，将基础LLM的推理能力转移到VLM中，避免了重新训练的复杂性。
  3. 实验结果显示，使用基础LLM提取的推理向量在推理任务中表现优于VLM提取的向量，部分恢复了退化的推理能力。

📝 摘要（中文）

大多数视觉语言模型（VLM）通过扩展预训练的大型语言模型（LLM）并结合视觉模块和多模态对齐来构建。然而，这种多模态扩展往往会降低原本在基础LLM中编码的语言推理能力。为此，本文提出了一种轻量级的向量干预方法LIFT（语言推理促进与转移），旨在从基础LLM向VLM转移推理能力，而无需重新训练基础模型。LIFT通过定义推理向量，注入这些向量到目标VLM的语言激活中，从而部分恢复退化的推理能力。实验结果表明，LLM派生的向量在多个推理基准上优于VLM派生的向量，验证了基础LLM在恢复推理能力方面的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在多模态扩展过程中语言推理能力的退化问题。现有方法无法有效利用基础LLM中保留的推理能力，导致VLM的推理性能下降。

核心思路：LIFT方法通过定义推理向量，将基础LLM的推理能力转移到VLM中。这一设计旨在利用基础LLM的有效推理能力，而无需对VLM进行重新训练。

技术框架：LIFT的整体架构包括两个主要路径：推理路径（Reasoner path）和求解路径（Solver path）。推理路径包含明确的推理轨迹，而求解路径则不包含。通过比较这两条路径的隐藏状态差异，定义推理向量，并将其注入目标VLM的语言激活中。

关键创新：LIFT的主要创新在于轻量级的向量干预方法，能够在不重新训练VLM的情况下，利用基础LLM的推理能力。这与现有方法的根本区别在于不依赖于VLM自身的推理能力，而是直接从基础LLM中提取。

关键设计：在LIFT中，推理向量的定义基于推理路径和求解路径的隐藏状态差异。此外，LIFT支持可学习的向量适应，同时保持VLM的主干网络冻结，以确保推理能力的有效转移。实验中使用了多种推理基准进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用基础LLM提取的推理向量在六个推理基准上均优于VLM提取的向量，验证了基础LLM在恢复推理能力方面的有效性。具体而言，LLM派生向量的性能提升幅度显著，表明LIFT方法在轻量级干预下有效恢复了退化的推理能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过恢复多模态模型的推理能力，LIFT方法可以提升智能助手、自动问答系统和图像理解等应用的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Most Vision-Language Models (VLMs) are built by extending pretrained Large Language Models (LLMs) with visual modules and multimodal alignment. However, this multimodal scaling often degrades the language-side reasoning ability originally encoded in the base LLM. While the base LLM retains usable reasoning after scaling, the aligned VLM itself cannot reliably access this ability. Therefore, recovering the degraded reasoning capability in VLMs would benefit more from seeking help from the base LLM than from the VLM alone. Motivated by this, we propose LIFT (Language-side reasonIng Facilitation and Transfer), a lightweight vector-intervention method that transfers reasoning capability from the base LLM to the VLM without retraining the backbone. LIFT defines Reasoning Vectors as answer-token hidden-state differences between a Reasoner path with an explicit reasoning trace and a Solver path without it, and injects these vectors into language-side activations of the target VLM. LIFT further supports learnable vector adaptation while keeping the VLM backbone frozen. We evaluate LIFT on two VLMs across six reasoning benchmarks, comparing Reasoning Vectors extracted from the base LLM and from the aligned VLM under matched protocols. Results show that LLM-derived vectors consistently outperform VLM-derived vectors, confirming that the base LLM is a more effective source for recovering reasoning. LIFT partially recovers degraded reasoning through lightweight language-side interventions. Further analyses show that Reasoning Vectors influence intermediate reasoning behavior rather than merely altering final answers. The source code will be released soon.