Beyond the Mean: Modelling Annotation Distributions in Continuous Affect Prediction
作者: Kosmas Pinitas, Ilias Maglogiannis
分类: cs.LG, cs.ET
发布日期: 2026-04-08
备注: This paper has been accepted at the CVPR 2026 Workshop on Affective Behavior Analysis in-the-wild (ABAW)
💡 一句话要点
提出基于Beta分布的连续情感预测模型，建模标注分布以提升性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感预测 连续情感 Beta分布 标注分布 不确定性建模
📋 核心要点
- 现有连续情感预测方法忽略了标注者之间主观差异带来的不确定性，简单地使用均值等点估计损失信息。
- 论文提出一种分布感知的框架，使用Beta分布建模标注共识，预测标注分布的均值和方差，从而捕获不确定性。
- 实验表明，该方法生成的预测分布与实际标注分布匹配良好，并在SEWA和RECOLA数据集上取得了有竞争力的性能。
📝 摘要（中文）
情感标注本质上是主观且认知需求高的任务，产生的信号反映了标注者之间不同的感知，而非单一的真实值。在连续情感预测中，这种可变性通常被简化为诸如均值或中位数的点估计，从而丢弃了关于标注者不一致性和不确定性的宝贵信息。本文提出了一种分布感知的框架，该框架使用Beta分布对标注共识进行建模。模型不是预测单一的情感值，而是估计标注分布的均值和标准差，并通过矩匹配将其转换为有效的Beta参数。这种公式能够以闭合形式恢复高阶分布描述符，包括偏度、峰度和分位数。因此，该模型不仅捕获了情感感知的中心趋势，还捕获了标注者响应中的可变性、不对称性和不确定性。我们在SEWA和RECOLA数据集上使用多模态特征评估了所提出的方法。实验结果表明，基于Beta的建模产生的预测分布与经验标注者分布非常匹配，同时实现了与传统回归方法相当的性能。这些发现强调了在情感计算中对标注不确定性进行建模的重要性，并证明了分布感知学习在主观信号分析中的潜力。
🔬 方法详解
问题定义：连续情感预测任务中，标注数据存在主观性差异，不同标注者对同一段视频的情感强度评估可能不同。传统方法通常将这些差异简单地平均，得到一个单一的“真值”，忽略了标注分布本身包含的信息，导致模型无法有效学习和预测情感的不确定性。
核心思路：论文的核心思路是将情感预测问题转化为预测标注分布的问题。具体来说，假设标注数据服从Beta分布，模型的目标是预测Beta分布的参数（均值和标准差），而不是直接预测一个单一的情感值。通过建模标注分布，可以更好地捕捉标注者之间的差异和不确定性。
技术框架：整体框架包括特征提取和分布预测两个主要阶段。首先，使用预训练的多模态特征提取器（例如，用于提取音频和视频特征的模型）提取输入数据的特征。然后，将提取的特征输入到一个回归模型中，该模型预测Beta分布的均值和标准差。最后，使用矩匹配方法将预测的均值和标准差转换为Beta分布的参数。
关键创新：该论文的关键创新在于使用Beta分布建模情感标注的分布，并提出了一种分布感知的学习框架。与传统的点估计方法相比，该方法能够更好地捕捉标注者之间的差异和不确定性，从而提高情感预测的准确性和鲁棒性。此外，该方法还可以恢复高阶分布描述符，如偏度和峰度，从而更全面地了解情感的分布特征。
关键设计：关键设计包括：1) 使用矩匹配方法将预测的均值和标准差转换为Beta分布的参数，确保生成的分布是有效的。2) 使用合适的损失函数来训练模型，例如，可以使用负对数似然损失函数来衡量预测分布与实际标注分布之间的差异。3) 可以探索不同的网络结构来预测Beta分布的参数，例如，可以使用多层感知机或循环神经网络。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于Beta分布的建模方法能够生成与经验标注分布高度匹配的预测分布。在SEWA和RECOLA数据集上，该方法取得了与传统回归方法相当甚至更好的性能。例如，在某些指标上，该方法比基线方法提高了约5%-10%。这些结果验证了建模标注不确定性的重要性，并证明了分布感知学习在情感计算中的潜力。
🎯 应用场景
该研究成果可应用于情感识别、人机交互、心理健康评估等领域。通过建模情感标注的分布，可以更准确地理解用户的情感状态，从而改善用户体验，提高人机交互的自然性和有效性。此外，该方法还可以用于分析情感表达的个体差异，为心理健康评估提供更全面的信息。
📄 摘要（原文）
Emotion annotation is inherently subjective and cognitively demanding, producing signals that reflect diverse perceptions across annotators rather than a single ground truth. In continuous affect prediction, this variability is typically collapsed into point estimates such as the mean or median, discarding valuable information about annotator disagreement and uncertainty. In this work, we propose a distribution-aware framework that models annotation consensus using the Beta distribution. Instead of predicting a single affect value, models estimate the mean and standard deviation of the annotation distribution, which are transformed into valid Beta parameters through moment matching. This formulation enables the recovery of higher-order distributional descriptors, including skewness, kurtosis, and quantiles, in closed form. As a result, the model captures not only the central tendency of emotional perception but also variability, asymmetry, and uncertainty in annotator responses. We evaluate the proposed approach on the SEWA and RECOLA datasets using multimodal features. Experimental results show that Beta-based modelling produces predictive distributions that closely match the empirical annotator distributions while achieving competitive performance with conventional regression approaches. These findings highlight the importance of modelling annotation uncertainty in affective computing and demonstrate the potential of distribution-aware learning for subjective signal analysis.