OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs

📄 arXiv: 2503.21480v2 📥 PDF

作者: John Murzaku, Owen Rambow

分类: cs.CL

发布日期: 2025-03-27 (更新: 2025-03-28)

备注: Submitted to COLM 2025. Preprint

💡 一句话要点

OmniVox：利用全模态大语言模型实现零样本情感识别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感识别 全模态大语言模型 零样本学习 声学提示 多模态融合 语音处理 自然语言处理

📋 核心要点

  1. 现有方法在利用全模态大语言模型处理语音相关的多模态情感识别任务方面存在不足。
  2. OmniVox的核心在于探索并优化全模态大语言模型在零样本情感识别中的应用。
  3. 实验结果表明，零样本全模态大语言模型在情感识别任务上表现出与微调模型相当甚至更优的性能。

📝 摘要（中文）

本文提出了OmniVox，首次系统性地评估了四个全模态大语言模型（Omni-LLM）在零样本情感识别任务上的表现。全模态大语言模型能够接受任意模态的输入，但其在涉及语音的多模态认知状态任务中的应用尚不充分。研究在两个广泛使用的多模态情感基准数据集IEMOCAP和MELD上进行了评估，结果表明零样本Omni-LLM的性能优于或与微调后的音频模型具有竞争力。除了纯音频评估外，还评估了Omni-LLM在纯文本以及文本和音频组合输入上的表现。本文提出了一种声学提示（acoustic prompting）方法，这是一种针对Omni-LLM的音频特定提示策略，侧重于声学特征分析、对话上下文分析和逐步推理。将声学提示与最小提示和完整思维链提示技术进行了比较。对IEMOCAP和MELD进行了上下文窗口分析，发现使用上下文信息有所帮助，尤其是在IEMOCAP上。最后，对Omni-LLM生成的声学推理输出进行了错误分析。

🔬 方法详解

问题定义：论文旨在解决零样本情感识别问题，特别是在语音和文本模态结合的情况下。现有方法通常依赖于针对特定数据集的微调模型，泛化能力较弱，并且难以有效利用多模态信息。全模态大语言模型（Omni-LLM）虽然具有强大的通用能力，但在情感识别任务中的潜力尚未被充分挖掘。

核心思路：论文的核心思路是利用Omni-LLM的强大语言理解和推理能力，通过合适的提示工程，使其能够直接处理音频和文本输入，并进行情感识别。通过设计专门的声学提示，引导模型关注音频特征、对话上下文，并进行逐步推理，从而提高情感识别的准确性。

技术框架：OmniVox的整体框架包括以下几个主要阶段：1) 数据预处理：对音频和文本数据进行必要的清洗和格式转换。2) 特征提取：从音频数据中提取声学特征，例如MFCC、能量等。3) 提示工程：设计不同的提示策略，包括最小提示、声学提示和思维链提示。4) 模型推理：将处理后的数据和提示输入到Omni-LLM中，进行情感识别。5) 结果评估：根据真实标签评估模型的情感识别准确率。

关键创新：论文的关键创新在于提出了声学提示（acoustic prompting）方法，这是一种专门针对Omni-LLM的音频特定提示策略。与传统的最小提示和思维链提示相比，声学提示能够更好地引导模型关注音频特征和对话上下文，从而提高情感识别的准确性。此外，论文还系统性地评估了多个Omni-LLM在零样本情感识别任务上的表现，为后续研究提供了重要的参考。

关键设计：声学提示的关键设计包括：1) 声学特征分析：引导模型关注音频的能量、语速、音高等特征。2) 对话上下文分析：引导模型考虑对话的历史信息和参与者的关系。3) 逐步推理：引导模型逐步分析情感的表达方式和原因。此外，论文还进行了上下文窗口分析，研究了上下文信息对情感识别的影响。具体参数设置和网络结构信息未知。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，零样本Omni-LLM在IEMOCAP和MELD数据集上表现出与微调后的音频模型相当甚至更优的性能。声学提示方法能够显著提高情感识别的准确性，尤其是在IEMOCAP数据集上。上下文窗口分析表明，使用上下文信息有助于提高情感识别的准确性。

🎯 应用场景

该研究成果可应用于智能客服、情感分析、心理健康监测等领域。通过利用全模态大语言模型，可以更准确地识别用户的情感状态，从而提供更个性化和人性化的服务。未来，该技术有望在人机交互、医疗健康等领域发挥重要作用。

📄 摘要（原文）

The use of omni-LLMs (large language models that accept any modality as input), particularly for multimodal cognitive state tasks involving speech, is understudied. We present OmniVox, the first systematic evaluation of four omni-LLMs on the zero-shot emotion recognition task. We evaluate on two widely used multimodal emotion benchmarks: IEMOCAP and MELD, and find zero-shot omni-LLMs outperform or are competitive with fine-tuned audio models. Alongside our audio-only evaluation, we also evaluate omni-LLMs on text only and text and audio. We present acoustic prompting, an audio-specific prompting strategy for omni-LLMs which focuses on acoustic feature analysis, conversation context analysis, and step-by-step reasoning. We compare our acoustic prompting to minimal prompting and full chain-of-thought prompting techniques. We perform a context window analysis on IEMOCAP and MELD, and find that using context helps, especially on IEMOCAP. We conclude with an error analysis on the generated acoustic reasoning outputs from the omni-LLMs.