Enriching Speech Emotion Representations with Conversational Context

📄 arXiv: 2609.26422v1 📥 PDF

作者: Arthur Peuvot, Romaric Besançon, Gaël de Chalendar, Bianca Vieru, Ioana Vasilescu

分类: cs.CL, eess.AS

发布日期: 2026-09-22

备注: 5 pages, 1 figure, 2 tables. Submitted to ICASSP 2027

💡 一句话要点

提出ACERT模块以解决语音情感识别中的上下文缺失问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 语音情感识别 对话上下文 情感演变 ACERT 智能对话系统

📋 核心要点

  1. 现有的语音情感识别方法多在发言层面进行情感预测，忽视了对话上下文的影响，导致情感识别效果不佳。
  2. 本文提出的ACERT模块通过集成灵活长度的对话上下文窗口，旨在捕捉语音互动中的情感演变，提升情感识别的准确性。
  3. 实验结果显示，ACERT在多个数据集上均表现优异，特别是在IEMOCAP上超越了现有最先进的方法，验证了其有效性。

📝 摘要（中文）

情感检测对于构建能够准确适应人类互动的系统至关重要。语音情感识别（SER）已成为开发智能语音接口的重要研究方向。然而，大多数研究在发言层面预测情感，忽视了对话上下文及其所携带的情感流动和说话者互动。本文提出了ACERT（时间上的平均上下文情感表示）模块，集成了灵活长度的对话上下文窗口，以更好地捕捉语音互动中的情感演变。我们在涵盖多种情感表达风格和上下文的数据集上进行了实验，结果表明ACERT在IEMOCAP数据集上超越了当前的最先进方法，并在SAFE上建立了首个上下文感知基准，在MELD上获得了强劲的结果。消融研究表明，ACERT的提升来自于情感和对话的连续性，而非说话者身份或声学条件。

🔬 方法详解

问题定义：本文旨在解决语音情感识别中对话上下文缺失的问题。现有方法通常只关注单个发言，未能充分利用对话中的情感流动和说话者之间的互动信息。

核心思路：ACERT模块的核心思想是通过引入灵活长度的对话上下文窗口，捕捉语音互动中的情感演变。这种设计使得模型能够更好地理解情感的连续性和变化。

技术框架：ACERT的整体架构包括输入层、上下文窗口处理模块和情感预测层。输入层接收语音信号，随后通过上下文窗口模块提取相关的对话信息，最后在情感预测层进行情感分类。

关键创新：ACERT的主要创新在于其上下文感知能力，能够有效整合对话中的情感信息，与传统方法相比，显著提升了情感识别的准确性。

关键设计：在模型设计中，ACERT采用了动态窗口长度的策略，以适应不同对话的情感变化。此外，损失函数的设计也考虑了情感连续性，确保模型在训练过程中能够学习到更丰富的情感特征。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，ACERT在IEMOCAP数据集上超越了当前最先进的方法，提升幅度显著。此外，在SAFE数据集上建立了首个上下文感知基准，并在MELD数据集上获得了强劲的结果，验证了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、情感计算和人机交互等。通过提高语音情感识别的准确性，ACERT可以帮助构建更自然、更具适应性的智能对话系统，提升用户体验。未来，该技术有望在教育、心理健康监测等领域发挥重要作用。

📄 摘要（原文）

Detecting emotions is necessary for building systems that can accurately and adaptively interact with humans. Speech Emotion Recognition (SER) has become an important research focus to develop intelligent spoken interfaces. However, most studies predict emotions at the utterance level, ignoring the conversational context, along with the emotional flow and speaker interactions it carries. In this paper, we introduce ACERT (Averaged Contextual Emotion Representation through Time), a module that integrates a flexible-length window of conversational context to better capture emotional evolution in spoken interactions. To evaluate the robustness of this method, we conducted experiments on datasets spanning diverse emotionally expressive styles and contexts. ACERT outperforms current state-of-the-art (SOTA) approaches on IEMOCAP, establishes the first context-aware benchmark on SAFE, and obtains strong results on MELD for unweighted, class-balanced metrics. Ablation studies show that ACERT's gains come from emotional and conversational continuity, rather than from speaker identity or acoustic conditions.