Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models
作者: Chi-En Dai, Chih-Pin Tan, Yi-Hsuan Yang
分类: cs.SD, cs.AI, cs.CL
发布日期: 2026-10-22
备注: Submitted to ICASSP 2027
💡 一句话要点
提出基于大语言模型的音乐情感预测方法以解决情感价值建模难题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音乐情感预测 上下文学习 大语言模型 多模态学习 情感分析
📋 核心要点
- 现有方法在情感价值的建模上面临挑战，主要由于其主观性和上下文依赖性，导致预测效果不佳。
- 本文提出了一种基于上下文学习的框架，通过辅助数据集中的示例来优化初始情感预测，提升模型性能。
- 实验结果表明，文本基础的ICL将情感价值的R²从0.110提升至0.427，而多模态变体在仅使用10个示例的情况下也取得了0.346的R²。
📝 摘要（中文）
尽管音乐音频可以可靠地预测唤醒度，但情感价值的建模仍然困难，主要由于其主观性和上下文依赖性。本文研究了利用大语言模型的上下文学习（ICL）来提升连续情感价值和唤醒度的预测能力。我们的方法通过辅助数据集中的上下文示例来优化小型任务特定基础模型的初始预测，而不是直接预测情感分数。通过对MER60数据集的严格测试，我们的实验显示，文本基础的ICL显著提高了情感价值的预测性能，表明无训练的ICL为当前语言模型在音乐情感预测中提供了有效的推理策略。
🔬 方法详解
问题定义：本文旨在解决音乐情感价值的预测问题，现有方法在情感价值建模上存在主观性和上下文依赖性的问题，导致预测效果不理想。
核心思路：我们提出利用大语言模型的上下文学习（ICL）能力，通过辅助数据集中的上下文示例来优化初始情感预测，而不是直接输出情感分数。
技术框架：整体架构包括一个小型任务特定的基础模型和一个上下文学习模块。基础模型生成初步的情感预测，而上下文学习模块则利用外部示例进行优化。
关键创新：本研究的创新在于引入了无训练的上下文学习策略，使得大语言模型在推理阶段能够有效提升音乐情感的预测能力，尤其是在情感价值的预测上。
关键设计：在实验中，文本基础的ICL使用了80个示例，显著提升了情感价值的R²值，而多模态变体则在仅使用10个示例的情况下也取得了较好的效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，文本基础的ICL将情感价值的R²从0.110提升至0.427，提升幅度达到287%；而多模态变体在仅使用10个示例的情况下也取得了0.346的R²，显示出良好的性能。这些结果表明，ICL在音乐情感预测中具有显著的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括音乐推荐系统、情感分析和人机交互等。通过准确预测音乐的情感价值和唤醒度，可以为用户提供个性化的音乐体验，提升用户满意度。此外，该方法的有效性也为未来的情感计算研究提供了新的思路和方向。
📄 摘要（原文）
While arousal can be reliably predicted from musical audio, emotional valence remains difficult to model due to its subjective and context-dependent nature. In this work, we investigate the potential of in-context learning (ICL) with large language models to advance continuous valence and arousal prediction. Rather than predicting emotion scores directly, our framework leverages contextual demonstrations from an auxiliary dataset to refine the initial predictions produced by a small, task-specific base model. We systematically evaluate a text-based ICL variant using lyrics and generated audio captions, alongside a multimodal variant that incorporates raw audio signals. Using the entire MER60 dataset strictly as a held-out test set, our experiments demonstrate substantial performance gains, particularly for valence. Text-based ICL improves the valence $R^2$ from 0.110 to 0.427 with 80 demonstration shots, while the multimodal variant achieves 0.346 with only 10 shots. These findings suggest that training-free ICL offers an effective inference-time strategy for current language models to predict continuous music emotion.