Kiss up, Kick down: Exploring Behavioral Changes in Multi-modal Large Language Models with Assigned Visual Personas

📄 arXiv: 2410.03181v1 📥 PDF

作者: Seungjong Sun, Eungu Lee, Seo Yeon Baek, Seunghyun Hwang, Wonbyung Lee, Dongyan Nan, Bernard J. Jansen, Jang Hyun Kim

分类: cs.CL

发布日期: 2024-10-04

备注: EMNLP 2024

💡 一句话要点

首个探索视觉角色对多模态大语言模型行为影响的研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉角色 行为分析 谈判策略 攻击性 角色扮演 头像图像

📋 核心要点

  1. 现有研究主要集中于文本角色对LLM行为的影响，忽略了视觉角色可能产生的影响，这是一个重要的研究空白。
  2. 该研究通过为LLM分配视觉角色（头像图像），并分析其在谈判场景中的行为，来探索视觉角色对LLM行为的影响。
  3. 实验结果表明，LLM能够理解图像中的攻击性，并根据视觉角色的攻击性调整其谈判策略，表现出类似人类的“欺软怕硬”行为。

📝 摘要（中文）

本研究首次探索了多模态大语言模型（LLM）是否能将其行为与视觉角色对齐，填补了现有文献主要关注基于文本角色的空白。我们开发了一个包含5K个虚构头像图像的新数据集，用于为LLM分配视觉角色，并根据这些图像中描绘的视觉特征分析它们的谈判行为，特别关注攻击性。结果表明，LLM以类似于人类的方式评估图像的攻击性，并且在被提示具有攻击性的视觉角色时，会输出更具攻击性的谈判行为。有趣的是，当对手的图像看起来不如自己具有攻击性时，LLM表现出更具攻击性的谈判行为，而当对手的图像看起来更具攻击性时，则表现出较少的攻击性行为。

🔬 方法详解

问题定义：现有研究主要关注文本角色对大语言模型行为的影响，忽略了视觉信息作为角色扮演的重要组成部分。缺乏对多模态大语言模型在视觉角色影响下的行为变化的系统性研究。因此，该研究旨在探索视觉角色（通过头像图像呈现）如何影响多模态大语言模型的行为，特别是在谈判场景中的攻击性表现。

核心思路：该研究的核心思路是，通过为多模态大语言模型分配具有不同攻击性特征的视觉角色（头像图像），观察其在模拟谈判场景中的行为变化。假设LLM能够理解图像中的视觉特征，并将其融入到角色扮演中，从而影响其决策和行为。通过对比不同视觉角色下的谈判策略，可以揭示视觉角色对LLM行为的影响模式。

技术框架：该研究的技术框架主要包括以下几个部分：1) 构建包含5K个虚构头像图像的数据集，这些图像具有不同的攻击性特征。2) 设计模拟谈判场景，并定义评估LLM谈判行为攻击性的指标。3) 将头像图像作为视觉角色分配给多模态大语言模型，并让其在模拟谈判场景中进行谈判。4) 分析LLM在不同视觉角色下的谈判行为，并评估其攻击性表现。

关键创新：该研究的关键创新在于：1) 首次探索了视觉角色对多模态大语言模型行为的影响，填补了现有研究的空白。2) 构建了一个包含5K个虚构头像图像的数据集，为视觉角色研究提供了数据基础。3) 揭示了LLM在视觉角色影响下表现出类似人类的“欺软怕硬”行为，为理解LLM的行为模式提供了新的视角。

关键设计：该研究的关键设计包括：1) 使用GAN等技术生成具有不同攻击性特征的头像图像，并进行人工标注以确保图像质量。2) 设计模拟谈判场景，并定义清晰的谈判目标和规则，以确保实验的可控性。3) 使用合适的评估指标来量化LLM谈判行为的攻击性，例如，提出的报价、威胁程度等。4) 对比不同视觉角色下的谈判行为，并进行统计分析，以验证研究假设。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，多模态大语言模型能够理解图像中的攻击性，并根据视觉角色的攻击性调整其谈判策略。具体来说，当对手的图像看起来不如自己具有攻击性时，LLM表现出更具攻击性的谈判行为，而当对手的图像看起来更具攻击性时，则表现出较少的攻击性行为。这表明LLM在视觉角色影响下表现出类似人类的“欺软怕硬”行为。

🎯 应用场景

该研究成果可应用于开发更具个性化和适应性的AI助手，例如，在客户服务、谈判协商等场景中，AI助手可以根据用户的视觉形象调整其沟通策略。此外，该研究还可以帮助我们更好地理解多模态大语言模型的行为模式，并为开发更安全、可靠的AI系统提供指导。

📄 摘要（原文）

This study is the first to explore whether multi-modal large language models (LLMs) can align their behaviors with visual personas, addressing a significant gap in the literature that predominantly focuses on text-based personas. We developed a novel dataset of 5K fictional avatar images for assignment as visual personas to LLMs, and analyzed their negotiation behaviors based on the visual traits depicted in these images, with a particular focus on aggressiveness. The results indicate that LLMs assess the aggressiveness of images in a manner similar to humans and output more aggressive negotiation behaviors when prompted with an aggressive visual persona. Interestingly, the LLM exhibited more aggressive negotiation behaviors when the opponent's image appeared less aggressive than their own, and less aggressive behaviors when the opponents image appeared more aggressive.