Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue

📄 arXiv: 2609.39072v1 📥 PDF

作者: Yutong Hu, Jinho Choi

分类: cs.CL, cs.AI, cs.LG, cs.MM

发布日期: 2026-09-30

备注: 15 pages, 6 figures, 11 tables

💡 一句话要点

提出基于LLM的框架以解决多模态对话中的情感评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 多模态对话 大型语言模型 声学线索 VAD评估 LoRA微调 自然语言处理

📋 核心要点

  1. 现有的情感识别方法在多模态对话中应用大型语言模型的研究仍然较少，面临着连续维度情感评估的挑战。
  2. 本文提出了一种基于LLM的框架，结合声学线索进行离散情感识别和VAD维度评估，创新性地使用自然语言描述。
  3. 实验结果表明，经过LoRA微调的LLaMA模型在情感评估任务上表现优异，尤其是在较小模型中，提升幅度显著。

📝 摘要（中文）

情感识别在对话中已被广泛研究，但将大型语言模型（LLMs）应用于多模态对话中的连续维度情感评估仍然较少探索。本文提出了一种基于LLM的框架，能够在IEMOCAP数据集上进行离散情感识别和情感的愉悦度-唤醒度-主导度（VAD）维度评估，结合了声学线索作为自然语言描述。我们评估了六种模型，包括LLaMA、GPT和Qwen系列，在零样本提示、少样本提示和LoRA微调下的表现。经过LoRA微调的LLaMA模型在这两项任务上显著优于经过提示工程的GPT模型，尽管后者规模更大，这一差距归因于领域适应而非模型容量。我们的最佳模型在IEMOCAP上实现了0.7822的愉悦度CCC，创造了新的最先进水平。消融研究确认文本音频描述对较小模型的提升显著，而对最大模型贡献有限，表明音频线索在语言能力有限时最为有价值。

🔬 方法详解

问题定义：本文旨在解决在多模态对话中，如何有效地应用大型语言模型进行连续维度情感评估的问题。现有方法在这一领域的应用尚不充分，尤其是在结合声学信息方面存在不足。

核心思路：论文提出的核心思路是利用大型语言模型结合声学线索，通过自然语言描述来增强情感识别的准确性。这种设计旨在充分挖掘声学信息与文本信息的互补性。

技术框架：整体架构包括离散情感识别和VAD维度评估两个主要模块，采用了六种不同的模型进行比较，涵盖了LLaMA、GPT和Qwen系列，并在不同的提示策略下进行评估。

关键创新：最重要的技术创新在于将声学线索转化为自然语言描述，并将其融入到情感评估中。这一方法与传统的仅依赖文本或声学特征的方法有本质区别。

关键设计：在模型训练中，采用了LoRA微调策略，优化了模型在特定任务上的表现。此外，消融研究表明，文本音频描述对较小模型的提升显著，而对较大模型的贡献相对较小，反映了模型能力与音频线索价值之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过LoRA微调的LLaMA模型在情感评估任务中取得了0.7822的愉悦度CCC，创造了IEMOCAP数据集的新记录。此外，较小模型在引入文本音频描述后，F1得分提升了3.5到3.6，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、情感计算和社交机器人等。通过提升情感识别的准确性，可以改善用户体验，增强系统的情感理解能力，未来可能在客服、心理健康监测等领域发挥重要作用。

📄 摘要（原文）

Emotion recognition in conversation has been widely studied, but applying Large Language Models (LLMs) to continuous dimensional emotion evaluation in multimodal dialogue remains largely unexplored. We propose an LLM-based framework that performs discrete emotion recognition and Valence-Arousal-Dominance (VAD) dimensional evaluation on IEMOCAP, incorporating acoustic cues as natural language descriptions following the SpeechCueLLM approach. We evaluate six models spanning the LLaMA, GPT, and Qwen families under zero-shot prompting, few-shot prompting, and LoRA fine-tuning. LoRA fine-tuned LLaMA models substantially outperform prompt-engineered GPT models on both tasks despite GPT's larger scale, a gap we attribute to domain adaptation rather than model capacity. Our best model achieves a Valence CCC of 0.7822, a new state-of-the-art on IEMOCAP. Ablation studies confirm that textual audio descriptions meaningfully improve smaller models (+3.5 to 3.6 weighted F1) while contributing little for the largest model, suggesting audio cues are most valuable when linguistic capacity is limited. The performance asymmetry across VAD dimensions closely mirrors the annotator agreement hierarchy in IEMOCAP's own annotations.