Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

📄 arXiv: 2505.14071v1 📥 PDF

作者: Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

分类: cs.LG, cs.CL, cs.CV

发布日期: 2025-05-20

💡 一句话要点

利用文本引导向量提升多模态大语言模型的视觉理解能力

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 文本引导向量 视觉理解 稀疏自编码器 均值漂移 线性探针 知识迁移

📋 核心要点

  1. 现有的多模态大语言模型缺乏有效的引导方法，难以针对性地调整模型行为。
  2. 本文提出利用从纯文本LLM中提取的文本引导向量来引导MLLM，提升其视觉理解能力。
  3. 实验表明，该方法在空间关系和计数任务上显著提升了MLLM的准确率，并具有良好的泛化性。

📝 摘要（中文）

本文研究了如何利用从纯文本大语言模型（LLM）中提取的引导向量来提升多模态大语言模型（MLLM）的性能。由于MLLM的快速发展和架构多样性，目前缺乏有效的引导方法。受此启发，本文探索了使用稀疏自编码器（SAE）、均值漂移和线性探针等技术，从LLM中提取文本引导向量，并将其应用于MLLM。实验结果表明，文本引导能够持续提升各种MLLM架构在不同视觉任务上的多模态准确率。特别是，均值漂移在CV-Bench数据集上将空间关系准确率提高了高达7.3%，计数准确率提高了高达3.3%，优于提示方法，并表现出强大的泛化能力。这些结果表明，文本引导向量是一种强大而高效的机制，可以用最小的额外数据收集和计算开销来增强MLLM的视觉理解能力。

🔬 方法详解

问题定义：多模态大语言模型（MLLM）在视觉理解方面仍有提升空间，但缺乏像纯文本LLM那样成熟的引导技术。现有的MLLM引导方法要么需要修改模型参数，要么需要大量的额外数据，成本较高。因此，如何高效地提升MLLM的视觉理解能力是一个亟待解决的问题。

核心思路：本文的核心思路是利用纯文本LLM中蕴含的丰富语义知识，通过提取文本引导向量来引导MLLM。由于文本LLM在语义理解方面已经非常成熟，因此可以将其知识迁移到MLLM中，从而提升MLLM的视觉理解能力。这种方法无需修改MLLM的参数，也无需大量的额外数据，具有高效性和可扩展性。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 使用稀疏自编码器（SAE）、均值漂移或线性探针等技术，从纯文本LLM中提取文本引导向量。2) 将提取的文本引导向量注入到MLLM中，以引导其视觉理解过程。3) 在不同的视觉任务上评估MLLM的性能，并与基线方法进行比较。

关键创新：本文最重要的技术创新点在于提出了利用文本引导向量来引导MLLM的思路。与现有的MLLM引导方法相比，该方法具有以下优势：1) 无需修改MLLM的参数。2) 无需大量的额外数据。3) 可以利用纯文本LLM中蕴含的丰富语义知识。4) 具有高效性和可扩展性。

关键设计：在提取文本引导向量方面，本文使用了三种不同的技术：稀疏自编码器（SAE）、均值漂移和线性探针。这些技术各有优缺点，可以根据具体的任务和数据集进行选择。在将文本引导向量注入到MLLM方面，本文采用了简单的加权求和方式，即将文本引导向量与MLLM的视觉特征进行加权求和。权重的选择是一个重要的超参数，需要根据具体的任务进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，本文提出的文本引导方法能够显著提升MLLM的视觉理解能力。例如，在CV-Bench数据集上，均值漂移方法将空间关系准确率提高了高达7.3%，计数准确率提高了高达3.3%，优于传统的提示方法。此外，该方法还表现出强大的泛化能力，能够在未见过的 out-of-distribution 数据集上取得良好的效果。

🎯 应用场景

该研究成果可广泛应用于需要多模态理解的场景，例如智能客服、自动驾驶、医疗诊断等。通过提升MLLM的视觉理解能力，可以使其更好地理解图像、视频等视觉信息，从而提供更准确、更智能的服务。未来，该方法有望进一步扩展到其他模态，例如语音、触觉等，从而实现更全面的多模态理解。

📄 摘要（原文）

Steering methods have emerged as effective and targeted tools for guiding large language models' (LLMs) behavior without modifying their parameters. Multimodal large language models (MLLMs), however, do not currently enjoy the same suite of techniques, due in part to their recency and architectural diversity. Inspired by this gap, we investigate whether MLLMs can be steered using vectors derived from their text-only LLM backbone, via sparse autoencoders (SAEs), mean shift, and linear probing. We find that text-derived steering consistently enhances multimodal accuracy across diverse MLLM architectures and visual tasks. In particular, mean shift boosts spatial relationship accuracy on CV-Bench by up to +7.3% and counting accuracy by up to +3.3%, outperforming prompting and exhibiting strong generalization to out-of-distribution datasets. These results highlight textual steering vectors as a powerful, efficient mechanism for enhancing grounding in MLLMs with minimal additional data collection and computational overhead.