SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models

📄 arXiv: 2510.26769v1 📥 PDF

作者: Anushka Sivakumar, Andrew Zhang, Zaber Hakim, Chris Thomas

分类: cs.CV, cs.LG

发布日期: 2025-10-30

💡 一句话要点

SteerVLM：通过轻量级激活调控实现视觉语言模型鲁棒控制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 模型调控 激活工程 多模态学习 幻觉缓解

📋 核心要点

  1. 现有VLM难以精确控制输出语义，尤其是在复杂指令下，容易产生不符合预期的结果。
  2. SteerVLM通过学习目标和相反行为的潜在嵌入，动态调整VLM的激活，实现细粒度的语义控制。
  3. 实验表明，SteerVLM在调控和减少幻觉方面优于现有方法，且仅需少量参数即可实现。

📝 摘要（中文）

本文提出了SteerVLM，一个轻量级的调控模块，旨在引导视觉语言模型（VLM）生成更符合期望指令的输出。该方法通过学习编码目标行为和相反行为的配对提示的潜在嵌入，动态调整连接语言模态与图像上下文的激活。这允许在不修改模型权重的情况下，对复杂输出语义进行细粒度的推理时控制，同时保持在非目标任务上的性能。我们的调控模块需要学习的参数仅占原始VLM大小的0.14%。该模块通过维度激活调制和跨层自适应调控来获得模型控制，无需预先提取的静态向量或手动调整干预点。此外，我们引入了VNIA（视觉叙事意图对齐），一个专门为促进VLM调控技术开发和评估而创建的多模态数据集。我们的方法在VLM的调控和幻觉缓解基准测试中优于现有的干预技术，并为通过激活工程实现多模态模型控制提供了一个鲁棒的解决方案。

🔬 方法详解

问题定义：现有视觉语言模型（VLM）在面对复杂指令时，难以精确控制输出语义，容易产生幻觉或不符合预期的结果。现有的干预方法通常需要手动调整干预点或预先提取静态向量，缺乏灵活性和泛化性。

核心思路：SteerVLM的核心思路是通过学习目标行为和相反行为的潜在嵌入，动态调整VLM中连接语言模态和图像上下文的激活。通过这种方式，可以在推理时对模型的行为进行细粒度的控制，而无需修改模型的原始权重。

技术框架：SteerVLM的整体框架包括以下几个主要步骤：1) 构建包含目标行为和相反行为的配对提示；2) 将这些提示输入VLM，提取相应的潜在嵌入；3) 学习一个轻量级的调控模块，该模块利用这些潜在嵌入来动态调整VLM的激活；4) 在推理时，使用该调控模块来引导VLM生成符合期望指令的输出。

关键创新：SteerVLM的关键创新在于其动态激活调控机制。与传统的干预方法不同，SteerVLM不需要预先提取静态向量或手动调整干预点，而是通过学习到的调控模块，根据输入提示自适应地调整激活。此外，SteerVLM还引入了VNIA数据集，专门用于评估VLM的调控技术。

关键设计：SteerVLM的调控模块是一个轻量级的神经网络，它接收目标行为和相反行为的潜在嵌入作为输入，并输出一个激活调制向量。该向量用于按维度缩放VLM的激活。为了实现跨层自适应调控，SteerVLM在不同的层应用不同的调制向量。损失函数的设计旨在最大化目标行为的概率，同时最小化相反行为的概率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SteerVLM在调控和幻觉缓解基准测试中优于现有方法。例如，在VNIA数据集上，SteerVLM在调控准确率方面取得了显著提升，同时有效地减少了VLM产生的幻觉。值得注意的是，SteerVLM仅需学习少量参数（占原始VLM大小的0.14%），即可实现强大的模型控制能力。

🎯 应用场景

SteerVLM可应用于需要精确控制视觉语言模型输出的各种场景，例如：图像编辑、机器人控制、内容生成等。通过调控模型的行为，可以使其更好地服务于特定任务，并减少不必要的幻觉和错误。该研究为多模态模型控制提供了一种有效的解决方案，具有广阔的应用前景。

📄 摘要（原文）

This work introduces SteerVLM, a lightweight steering module designed to guide Vision-Language Models (VLMs) towards outputs that better adhere to desired instructions. Our approach learns from the latent embeddings of paired prompts encoding target and converse behaviors to dynamically adjust activations connecting the language modality with image context. This allows for fine-grained, inference-time control over complex output semantics without modifying model weights while preserving performance on off-target tasks. Our steering module requires learning parameters equal to 0.14% of the original VLM's size. Our steering module gains model control through dimension-wise activation modulation and adaptive steering across layers without requiring pre-extracted static vectors or manual tuning of intervention points. Furthermore, we introduce VNIA (Visual Narrative Intent Alignment), a multimodal dataset specifically created to facilitate the development and evaluation of VLM steering techniques. Our method outperforms existing intervention techniques on steering and hallucination mitigation benchmarks for VLMs and proposes a robust solution for multimodal model control through activation engineering.