NegativePrompt: Leveraging Psychology for Large Language Models Enhancement via Negative Emotional Stimuli

📄 arXiv: 2405.02814v2 📥 PDF

作者: Xu Wang, Cheng Li, Yi Chang, Jindong Wang, Yuan Wu

分类: cs.CL

发布日期: 2024-05-05 (更新: 2024-05-12)

备注: This paper has been accepted by IJCAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出NegativePrompt，利用负面情绪刺激提升大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 负面情绪 情绪刺激 心理学 性能提升

📋 核心要点

  1. 现有研究表明，积极情绪刺激可以提升大语言模型的情商和性能，但负面情绪对LLM的影响尚不明确。
  2. NegativePrompt通过设计十种负面情绪刺激，探索负面情绪对LLM性能的影响，基于心理学原理。
  3. 实验结果表明，NegativePrompt显著提升了LLM在Instruction Induction和BIG-Bench任务上的性能，分别提升12.89%和46.25%。

📝 摘要（中文）

大型语言模型（LLMs）已广泛应用于传统计算任务和高级人工智能（AI）应用。这种广泛应用推动了包括社会科学在内的各个学科对LLMs的广泛研究。值得注意的是，研究表明LLMs具有情商，可以通过积极的情绪刺激进一步发展。这一发现引出了一个有趣的问题：负面情绪是否也能类似地影响LLMs，从而潜在地提高它们的性能？为了回答这个问题，我们引入了NegativePrompt，这是一种基于心理学原理的新方法，涉及十种专门设计的负面情绪刺激。我们对包括Flan-T5-Large、Vicuna、Llama 2、ChatGPT和GPT-4在内的五个LLMs进行了一系列严格的实验评估，涵盖45个任务。结果显示：NegativePrompt显著提高了LLMs的性能，在Instruction Induction任务中相对提高了12.89%，在BIG-Bench任务中相对提高了46.25%。此外，我们进行了注意力可视化实验，以解读NegativePrompt影响的潜在机制。我们的研究显著提高了对LLMs和情绪交互的理解，证明了NegativePrompt作为一种情绪驱动方法的实际有效性，并为在实际应用中增强LLMs提供了新的见解。

🔬 方法详解

问题定义：现有研究主要集中于利用积极情绪提升大语言模型（LLM）的性能，而忽略了负面情绪可能带来的影响。该论文旨在探索负面情绪是否也能有效提升LLM的性能，并填补这一研究空白。现有方法缺乏对负面情绪刺激的系统性设计和评估。

核心思路：论文的核心思路是借鉴心理学原理，设计一系列具有代表性的负面情绪刺激（Negative Prompts），并将这些Prompts作为输入的一部分，与原始任务指令一起输入到LLM中。通过观察LLM在不同任务上的表现，评估负面情绪刺激对LLM性能的影响。这种设计旨在模拟人类在受到负面情绪影响时的认知过程，并探索LLM是否也能从中受益。

技术框架：该研究的技术框架主要包括以下几个阶段： 1. 负面情绪刺激设计：基于心理学理论，设计十种不同的负面情绪刺激，例如“frustrated”、“disappointed”等。 2. 任务选择：选择涵盖不同难度和类型的45个任务，包括Instruction Induction和BIG-Bench任务。 3. 模型评估：将原始任务指令和负面情绪刺激一起输入到五个不同的LLM中（Flan-T5-Large, Vicuna, Llama 2, ChatGPT, and GPT-4），并评估其在各个任务上的性能。 4. 注意力可视化：通过注意力可视化技术，分析LLM在处理包含负面情绪刺激的输入时，其内部注意力机制的变化。

关键创新：该论文的关键创新在于： 1. 首次系统性地研究了负面情绪对LLM性能的影响，打破了以往研究主要关注积极情绪的局限性。 2. 提出了一种基于心理学原理的负面情绪刺激设计方法，为后续研究提供了参考。 3. 通过实验验证了负面情绪刺激可以有效提升LLM在某些任务上的性能，为LLM的优化提供了一种新的思路。

关键设计： 1. 负面情绪词汇选择：选择了10个具有代表性的负面情绪词汇，力求覆盖不同类型和强度的负面情绪。 2. 任务多样性：选择了45个任务，涵盖了Instruction Induction和BIG-Bench等不同类型，以保证实验结果的泛化性。 3. 注意力可视化方法：使用了标准的注意力可视化技术，以分析LLM在处理包含负面情绪刺激的输入时的内部机制。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，NegativePrompt方法显著提升了LLM在Instruction Induction和BIG-Bench任务上的性能。具体而言，在Instruction Induction任务中，相对提升了12.89%；在BIG-Bench任务中，相对提升了46.25%。这些结果表明，适当的负面情绪刺激可以有效提升LLM在某些任务上的表现，为LLM的优化提供了一种新的途径。

🎯 应用场景

该研究成果可应用于提升大语言模型在各种实际场景中的性能，例如情感对话系统、智能客服、内容生成等。通过引入适当的负面情绪刺激，可以使LLM更好地理解用户的意图和情感，从而生成更贴切、更符合用户需求的内容。此外，该研究也为开发更具鲁棒性和适应性的LLM提供了新的思路。

📄 摘要（原文）

Large Language Models (LLMs) have become integral to a wide spectrum of applications, ranging from traditional computing tasks to advanced artificial intelligence (AI) applications. This widespread adoption has spurred extensive research into LLMs across various disciplines, including the social sciences. Notably, studies have revealed that LLMs possess emotional intelligence, which can be further developed through positive emotional stimuli. This discovery raises an intriguing question: can negative emotions similarly influence LLMs, potentially enhancing their performance? In response to this question, we introduce NegativePrompt, a novel approach underpinned by psychological principles, involving ten specifically designed negative emotional stimuli. We embark on rigorous experimental evaluations of five LLMs including Flan-T5-Large, Vicuna, Llama 2, ChatGPT, and GPT-4, across a set of 45 tasks. The results are revealing: NegativePrompt markedly enhances the performance of LLMs, evidenced by relative improvements of 12.89% in Instruction Induction tasks and 46.25% in BIG-Bench tasks. Moreover, we conduct attention visualization experiments to decipher the underlying mechanisms of NegativePrompt's influence. Our research contributes significantly to the understanding of LLMs and emotion interaction, demonstrating the practical efficacy of NegativePrompt as an emotion-driven method and offering novel insights for the enhancement of LLMs in real-world applications. The code is available at https://github.com/wangxu0820/NegativePrompt.