GeoPID: Decomposing and Steering Visual Information in Vision-Language Models

📄 arXiv: 2610.08401v1 📥 PDF

作者: Seulgi Kim, Zhixiong Zhang, Xinwei Zhang, Jie Ling, Ronn Shaw

分类: cs.CV, cs.AI

发布日期: 2026-10-06

备注: Under Review

💡 一句话要点

提出GeoPID以增强视觉语言模型中的视觉信息利用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态信息 几何分析 视觉基础能力 无训练干预

📋 核心要点

  1. 现有的视觉语言模型在处理多模态信息时，往往低估视觉信息的作用，导致性能不足。
  2. 本文提出GeoPID框架，通过几何分析将信息分解为不同组件，增强视觉信息的利用。
  3. 实验结果表明，GeoPID在14个基准上提升了视觉基础能力，平均准确率提高了7.63%。

📝 摘要（中文）

尽管近期的视觉语言模型（VLMs）在多种应用中表现出色，但它们往往低估视觉信息的使用，过于依赖文本上下文。本文提出了GeoPID，一个无训练框架，从几何角度分析VLM中的多模态信息。GeoPID将信息分解为冗余、模态唯一和协同组件，通过视觉和文本表示子空间之间的几何关系进行分析。通过对22个VLM和14个基准的广泛分析，我们确认在强烈需要视觉基础的情况下，正确预测展现出更强的视觉唯一组件。基于这一几何分析，我们引入了一种有针对性的干预技术，在推理过程中选择性地增强视觉表示，从而在不更新任何模型参数的情况下提升了视觉基础能力，平均相对准确率提高了7.63%。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型中视觉信息利用不足的问题。现有方法往往过于依赖文本上下文，导致视觉信息未能充分发挥其潜力。

核心思路：GeoPID通过几何分析将多模态信息分解为冗余、模态唯一和协同组件，旨在增强视觉信息的利用率。该方法不需要对模型进行额外训练，直接在推理阶段进行干预。

技术框架：GeoPID的整体架构包括信息分解模块和干预模块。信息分解模块负责分析视觉和文本表示的几何关系，而干预模块则在推理过程中选择性地增强视觉表示。

关键创新：GeoPID的主要创新在于其无训练的干预方法，通过几何分析实现对视觉信息的有效放大，与传统方法相比，避免了模型参数的更新。

关键设计：在设计中，GeoPID关注于视觉和文本表示的几何关系，采用特定的损失函数来优化信息分解效果，确保在推理阶段能够有效增强视觉信息的利用。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GeoPID在14个基准测试中显著提升了视觉基础能力，平均相对准确率提高了7.63%。这一提升在强烈依赖视觉信息的任务中尤为明显，验证了其有效性。

🎯 应用场景

GeoPID的研究成果在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。其方法可以用于提升视觉问答、图像描述生成等任务的性能，未来可能推动更高效的视觉语言模型的发展。

📄 摘要（原文）

While recent vision-language models (VLMs) have shown outstanding performance across diverse applications, they tend to under-use visual information and over-rely on textual context. In this work, we propose \textsc{GeoPID}, a training-free framework that analyzes multimodal information within VLMs from a geometric perspective. \textsc{GeoPID} decomposes information into Redundant, Modality-Unique, and Synergistic components through the geometric relationships between visual and textual representation subspaces. Through an extensive analysis across 22 VLMs and 14 benchmarks, we confirm that correct predictions exhibit stronger vision-unique components when questions strongly require visual grounding. Building on this geometric analysis, we introduce a targeted intervention technique that selectively amplifies visual representations along the vision-unique subspace during inference. As a result, visual grounding capabilities were enhanced without any additional model parameter updates, achieving an average relative accuracy gain of 7.63\%.