Boosting Self-Efficacy and Performance of Large Language Models via Verbal Efficacy Stimulations

📄 arXiv: 2502.06669v1 📥 PDF

作者: Rui Chen, Tailai Peng, Xinran Xie, Dekun Lin, Zhe Cui, Zheng Chen

分类: cs.CL, cs.AI

发布日期: 2025-02-10

备注: to be published in ICONIP 2024

💡 一句话要点

通过语言效能刺激提升大型语言模型的自我效能与表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我效能 语言效能刺激 任务表现 情感智能

📋 核心要点

  1. 现有方法主要集中于单一类型的提示，缺乏对不同刺激效果的比较与任务难度的考量，限制了大型语言模型的性能提升。
  2. 本文提出语言效能刺激（VES），通过鼓励性、挑衅性和批判性三种提示，探索其对 LLMs 自我效能和任务表现的影响。
  3. 实验结果显示，三种 VES 在大多数任务中均能提升 LLMs 的表现，且不同模型对 VES 的响应存在差异，提供了新的研究视角。

📝 摘要（中文）

在大型语言模型（LLMs）的零-shot 能力上观察到了显著提升。由于其对输入的高度敏感性，研究逐渐集中于通过直接且简单的提示工程来增强 LLMs 的表现，而非复杂的领域适应。尽管已有研究表明 LLMs 具备情感智能，且情感刺激可能提升任务表现，但以往的提示主要集中在单一刺激类型，忽视了不同刺激效果的比较、任务难度的影响及其潜在机制。本文提出了语言效能刺激（VES），包括鼓励性、挑衅性和批判性三种提示，针对六个方面进行评估，并分类任务难度，深入探讨不同 VES 如何影响 LLMs 在不同难度任务中的自我效能和表现。实验结果表明，三种 VES 在大多数任务中提升了 LLMs 的表现，且不同模型的最佳 VES 各异。我们的发现与心理学理论一致，为未来研究提供了新视角。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在任务表现提升中的局限性，尤其是对不同类型刺激的忽视及任务难度的影响。

核心思路：通过引入语言效能刺激（VES），结合鼓励性、挑衅性和批判性提示，探讨其对 LLMs 自我效能和任务表现的影响，旨在通过多样化的刺激提升模型表现。

技术框架：整体框架包括三个主要模块：1) 设计不同类型的语言效能刺激；2) 分类任务难度；3) 评估不同 VES 对 LLMs 在各类任务中的表现影响。

关键创新：最重要的创新在于首次系统性地比较了不同类型的语言刺激对 LLMs 的影响，并结合任务难度进行分析，填补了以往研究的空白。

关键设计：在设计 VES 时，考虑了六个方面（如有用性和能力），并通过实验验证了不同模型对不同类型 VES 的响应差异，确保了实验的全面性和科学性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，三种语言效能刺激在大多数任务中显著提升了 LLMs 的表现，具体提升幅度在不同模型中有所不同，最有效的 VES 类型因模型而异，验证了理论与实践的结合。

🎯 应用场景

该研究的潜在应用领域包括教育、心理辅导和人机交互等。通过优化语言模型的自我效能，能够提升其在各种任务中的表现，进而推动智能助手、在线学习平台等的智能化发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Significant improvements have been observed in the zero-shot capabilities of the Large Language Models (LLMs). Due to their high sensitivity to input, research has increasingly focused on enhancing LLMs' performance via direct and simple prompt engineering rather than intricate domain adaptation. Studies suggest that LLMs exhibit emotional intelligence, and both positive and negative emotions can potentially enhance task performances. However, prior interaction prompts have predominantly concentrated on a single stimulus type, neglecting to compare different stimulus effects, examine the influence of varying task difficulties, or explore underlying mechanisms. This paper, inspired by the positive correlation between self-efficacy and task performance within the social cognitive theory, introduces Verbal Efficacy Stimulations (VES). Our VES comprises three types of verbal prompts: encouraging, provocative, and critical, addressing six aspects such as helpfulness and competence. And we further categorize task difficulty, aiming to extensively investigate how distinct VES influence the self-efficacy and task achievements of language models at varied levels of difficulty. The experimental results show that the three types of VES improve the performance of LLMs on most tasks, and the most effective VES varies for different models. In extensive experiments, we have obtained some findings consistent with psychological theories, providing novel insights for future research.