The Effects of Visual Priming on Cooperative Behavior in Vision-Language Models

📄 arXiv: 2604.27953v1 📥 PDF

作者: Kenneth J. K. Ong

分类: cs.AI, cs.CV

发布日期: 2026-04-30

💡 一句话要点

研究视觉启动对视觉语言模型合作行为的影响，以迭代囚徒困境为测试场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 合作行为 视觉启动 迭代囚徒困境 决策系统

📋 核心要点

  1. 视觉语言模型在决策系统中应用日益广泛，但其行为受视觉输入影响的程度尚不明确。
  2. 该研究通过视觉启动，考察了图像内容和颜色提示对VLM在迭代囚徒困境中合作行为的影响。
  3. 实验结果表明，VLM行为易受视觉信息影响，且不同模型对视觉信息的敏感度和缓解策略效果存在差异。

📝 摘要（中文）

本文研究了视觉输入如何影响视觉语言模型（VLM）的合作行为，因为VLM越来越多地被集成到决策系统中。我们使用迭代囚徒困境（IPD）作为测试场景，检验了视觉启动对VLM合作行为的影响。具体来说，我们考察了暴露于描绘行为概念（善良/乐于助人 vs. 攻击性/自私）和颜色编码的奖励矩阵的图像是否会改变VLM的决策模式。实验在多个最先进的VLM上进行。我们进一步探索了缓解策略，包括提示修改、思维链（CoT）推理和视觉token减少。结果表明，VLM的行为可能受到图像内容和颜色提示的影响，不同模型对这些影响的敏感性和缓解效果各不相同。这些发现不仅强调了在视觉丰富和安全关键环境中部署VLM时，需要稳健的评估框架，而且突出了模型架构和训练差异可能导致不同的行为反应——这是一个值得进一步研究的领域。

🔬 方法详解

问题定义：现有视觉语言模型在决策过程中，其行为容易受到视觉输入的影响，但这种影响的具体机制和程度尚不明确。尤其是在合作博弈等场景下，视觉信息可能导致模型做出非理性或不符合预期的决策。现有方法缺乏对视觉输入影响的系统性评估和有效缓解策略。

核心思路：该论文的核心思路是通过视觉启动（Visual Priming）的方式，向VLM输入带有特定行为倾向（例如，合作或竞争）的图像，观察VLM在迭代囚徒困境（IPD）中的决策行为变化。通过控制图像的内容（善良/乐于助人 vs. 攻击性/自私）和颜色编码的奖励矩阵，来探究视觉信息对VLM合作行为的影响。

技术框架：该研究的技术框架主要包括以下几个部分：1) 选择迭代囚徒困境（IPD）作为测试环境，模拟合作博弈场景。2) 设计视觉启动图像，包括描绘特定行为概念（善良/乐于助人 vs. 攻击性/自私）的图像和颜色编码的奖励矩阵。3) 在多个最先进的VLM上进行实验，观察VLM在不同视觉启动下的决策行为。4) 探索缓解策略，包括提示修改、思维链（CoT）推理和视觉token减少。

关键创新：该研究的关键创新在于：1) 系统性地研究了视觉启动对VLM合作行为的影响，揭示了VLM行为容易受到视觉信息影响的脆弱性。2) 提出了多种缓解策略，包括提示修改、思维链推理和视觉token减少，并评估了这些策略的有效性。3) 发现不同VLM模型对视觉信息的敏感性和缓解策略的效果存在差异，这表明模型架构和训练方式对VLM的行为有重要影响。

关键设计：在实验设计方面，关键在于视觉启动图像的设计，需要确保图像能够有效地传递特定的行为倾向。在缓解策略方面，提示修改需要精心设计，以引导VLM做出更理性的决策。思维链推理通过引入中间步骤，帮助VLM更好地理解博弈规则和潜在收益。视觉token减少旨在降低视觉信息对VLM的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLM的行为会受到图像内容和颜色提示的影响，不同模型对这些影响的敏感性和缓解效果各不相同。例如，某些模型在受到负面视觉启动后，合作意愿显著降低，而通过提示修改和思维链推理可以部分缓解这种影响。视觉token减少在某些情况下也能降低视觉信息对VLM决策的影响。

🎯 应用场景

该研究成果可应用于开发更安全可靠的视觉语言模型，尤其是在安全关键领域，如自动驾驶、医疗诊断等。通过理解和缓解视觉信息对VLM决策的影响，可以提高VLM的鲁棒性和可靠性，避免因视觉偏差导致的不良后果。此外，该研究也为VLM的评估和测试提供了一种新的思路。

📄 摘要（原文）

As Vision-Language Models (VLMs) become increasingly integrated into decision-making systems, it is essential to understand how visual inputs influence their behavior. This paper investigates the effects of visual priming on VLMs' cooperative behavior using the Iterated Prisoner's Dilemma (IPD) as a test scenario. We examine whether exposure to images depicting behavioral concepts (kindness/helpfulness vs. aggressiveness/selfishness) and color-coded reward matrices alters VLM decision patterns. Experiments were conducted across multiple state-of-the-art VLMs. We further explore mitigation strategies including prompt modifications, Chain of Thought (CoT) reasoning, and visual token reduction. Results show that VLM behavior can be influenced by both image content and color cues, with varying susceptibility and mitigation effectiveness across models. These findings not only underscore the importance of robust evaluation frameworks for VLM deployment in visually rich and safety-critical environments, but also highlight how architectural and training differences among models may lead to distinct behavioral responses-an area worthy of further investigation.