Recognizing Emotion Regulation Strategies from Human Behavior with Large Language Models
作者: Philipp Müller, Alexander Heimerl, Sayed Muddashir Hossain, Lea Siegel, Jan Alexandersson, Patrick Gebhard, Elisabeth André, Tanja Schneeberger
分类: cs.CL
发布日期: 2024-08-08
备注: Accepted to ACII'24
💡 一句话要点
利用微调LLaMA2-7B识别羞耻情绪中的个体情绪调节策略，无需交互后访谈数据。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情绪调节策略识别 大型语言模型 Llama2-7B 情感计算 行为分析 深度学习 微调 自然语言处理
📋 核心要点
- 现有方法难以跨用户场景自动分类情绪调节策略，限制了情感计算在人机交互中的应用。
- 论文提出微调Llama2-7B模型，利用言语和非言语行为等信息，实现情绪调节策略的精准分类。
- 实验表明，微调后的Llama2-7B模型在情绪调节策略分类上取得了0.84的准确率，优于传统方法。
📝 摘要（中文）
人类的情绪通常不会直接表达，而是根据内在过程和社会展示规则进行调节。对于情感计算系统而言，理解用户如何调节情绪非常有用，例如在面试培训或心理治疗场景中提供反馈。目前，尚不存在跨用户场景下自动分类不同情绪调节策略的方法。最近的研究表明，指令调优的大型语言模型（LLMs）在情感识别任务（如分类情绪识别或情感分析）中表现出色。然而，LLMs的表征能力在分类用户内在情绪调节策略这一更微妙的任务中能发挥多大作用尚不清楚。为了填补这一空白，我们利用了最近引入的 extsc{Deep}语料库，该语料库用于建模羞耻情绪的社会展示，其中每个时间点都用七种不同的情绪调节类别之一进行标注。我们使用低秩优化在 extsc{Deep}语料库上微调Llama2-7B以及最近引入的Gemma模型，并使用来自不同来源的信息生成提示，这些信息包括言语和非言语行为、个人因素以及交互后深入访谈的结果。结果表明，微调后的Llama2-7B LLM能够以高精度（0.84）分类所用的情绪调节策略，而无需访问交互后访谈的数据。这代表了对先前基于贝叶斯网络的方法的显著改进，并突出了在情绪调节中建模言语行为的重要性。
🔬 方法详解
问题定义：论文旨在解决自动识别个体在特定情境下（例如，表达羞耻情绪时）所采用的情绪调节策略的问题。现有的方法，如基于贝叶斯网络的方法，在跨用户场景下的泛化能力较弱，并且可能依赖于交互后的访谈数据，这在实际应用中是不方便的。
核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的表征学习能力，通过微调LLMs来学习言语和非言语行为与情绪调节策略之间的复杂关系。LLMs能够捕捉到细微的语言模式和行为特征，从而更准确地识别个体的情绪调节策略。
技术框架：整体框架包括数据预处理、提示生成、模型微调和评估四个主要阶段。首先，对 extsc{Deep}语料库进行预处理，该语料库包含标注了情绪调节策略的言语和非言语行为数据。然后，根据不同的信息来源（如言语行为、非言语行为、个人因素等）生成提示。接着，使用低秩优化（LoRA）在 extsc{Deep}语料库上微调Llama2-7B和Gemma模型。最后，评估微调后的模型在情绪调节策略分类任务上的性能。
关键创新：最重要的技术创新点在于利用LLMs来建模情绪调节策略，并证明了LLMs在这一任务上的有效性。与传统方法相比，LLMs能够更好地捕捉言语行为中的细微差别，并且不需要依赖交互后的访谈数据。此外，论文还探索了不同信息来源对模型性能的影响，并发现言语行为在情绪调节策略识别中起着重要作用。
关键设计：论文使用了Llama2-7B和Gemma模型，并采用低秩优化（LoRA）进行微调。LoRA通过引入少量可训练的参数来调整预训练模型，从而降低了计算成本和内存需求。提示生成是另一个关键设计，论文根据不同的信息来源（如言语行为、非言语行为、个人因素等）设计了不同的提示模板，以引导LLMs学习相关信息。损失函数采用交叉熵损失函数，用于衡量模型预测结果与真实标签之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，微调后的Llama2-7B模型在 extsc{Deep}语料库上实现了0.84的准确率，显著优于先前基于贝叶斯网络的方法。更重要的是，该模型在不依赖交互后访谈数据的情况下，依然能够取得较高的准确率，这表明LLMs能够有效地从言语和非言语行为中学习情绪调节策略。
🎯 应用场景
该研究成果可应用于情感计算领域，例如在面试培训系统中，可以根据应聘者的情绪调节策略提供个性化反馈；在心理治疗场景中，可以帮助治疗师更好地理解患者的情绪状态和应对机制。此外，该技术还可用于开发更智能的人机交互系统，提升用户体验。
📄 摘要（原文）
Human emotions are often not expressed directly, but regulated according to internal processes and social display rules. For affective computing systems, an understanding of how users regulate their emotions can be highly useful, for example to provide feedback in job interview training, or in psychotherapeutic scenarios. However, at present no method to automatically classify different emotion regulation strategies in a cross-user scenario exists. At the same time, recent studies showed that instruction-tuned Large Language Models (LLMs) can reach impressive performance across a variety of affect recognition tasks such as categorical emotion recognition or sentiment analysis. While these results are promising, it remains unclear to what extent the representational power of LLMs can be utilized in the more subtle task of classifying users' internal emotion regulation strategy. To close this gap, we make use of the recently introduced \textsc{Deep} corpus for modeling the social display of the emotion shame, where each point in time is annotated with one of seven different emotion regulation classes. We fine-tune Llama2-7B as well as the recently introduced Gemma model using Low-rank Optimization on prompts generated from different sources of information on the \textsc{Deep} corpus. These include verbal and nonverbal behavior, person factors, as well as the results of an in-depth interview after the interaction. Our results show, that a fine-tuned Llama2-7B LLM is able to classify the utilized emotion regulation strategy with high accuracy (0.84) without needing access to data from post-interaction interviews. This represents a significant improvement over previous approaches based on Bayesian Networks and highlights the importance of modeling verbal behavior in emotion regulation.