GeoMER: A Joint Euclidean-Hyperbolic Geometry Framework for Multimodal Emotion Recognition

📄 arXiv: 2610.18587v1 📥 PDF

作者: Ting Zhu, Huizhi Liang, Boguslaw Obara, Shufei Duan, Varun Ojha

分类: cs.SD, cs.AI, cs.LG, eess.AS

发布日期: 2026-10-13

备注: Accepted at ICONIP 2026 (33rd International Conference on Neural Information Processing)

💡 一句话要点

提出GeoMER框架以解决多模态情感识别中的层次结构问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 双曲几何 欧几里得几何 情感计算 深度学习

📋 核心要点

  1. 现有的多模态情感识别方法主要依赖于欧几里得几何，无法有效捕捉情感的层次结构关系。
  2. 本文提出GeoMER框架，结合欧几里得与双曲几何，利用双曲情感核心路由捕捉抽象情感表示。
  3. 在IEMOCAP基准测试中，GeoMER实现了83.54%的加权准确率，超越了现有的欧几里得基线方法。

📝 摘要（中文）

多模态情感识别（MER）旨在通过整合语音和文本等多种模态的信息来理解人类情感。心理学研究表明，情感在其语义表示中展现出潜在的层次结构关系。然而，大多数MER方法依赖于欧几里得表示，虽然能够捕捉细粒度的跨模态交互，但未能明确提供组织情感层次结构的几何先验。为此，本文提出了GeoMER，一个联合欧几里得-双曲几何建模框架，引入双曲情感核心路由以捕捉更高层次的抽象情感表示。该框架联合建模了标记级跨模态语义交互和潜在情感表示，包含欧几里得多模态融合模块和双曲几何核心路由模块。实验表明，GeoMER在IEMOCAP基准测试中表现最佳，达到了83.54%的加权准确率和83.35%的未加权准确率，超越了包括MemoCMT在内的欧几里得基线。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中对情感层次结构的建模不足，现有方法多依赖于欧几里得几何，无法有效组织情感的层次关系。

核心思路：GeoMER框架通过结合欧几里得和双曲几何，利用双曲情感核心路由来捕捉更高层次的情感表示，从而增强情感识别的准确性。

技术框架：GeoMER包括两个主要模块：欧几里得多模态融合模块（EuclFusion）用于多模态表示融合，以及双曲几何核心路由模块（HypGeoRoute），后者在双曲流形中执行几何感知的核心分配和聚合。

关键创新：GeoMER的创新在于引入双曲几何来补充欧几里得建模，能够更好地捕捉情感的抽象特征，显著提升了情感识别的性能。

关键设计：在设计中，采用了特定的损失函数以优化跨模态交互，网络结构中结合了双曲空间的特性，以实现更有效的情感表示学习。通过这种设计，GeoMER能够在多模态情感识别任务中取得更好的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoMER在IEMOCAP多模态情感识别基准测试中表现出色，取得了83.54%的加权准确率和83.35%的未加权准确率，显著优于现有的欧几里得基线方法MemoCMT，展示了其在情感识别任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用场景包括情感计算、智能客服、心理健康监测等领域。通过更准确的情感识别，GeoMER能够帮助系统更好地理解用户情感，从而提供更个性化的服务和支持。未来，该框架的应用可能会扩展到更多需要情感理解的智能系统中。

📄 摘要（原文）

Multimodal Emotion Recognition (MER) aims to understand human emotions by integrating information from multiple modalities such as speech and text. Psychological studies suggest that emotions exhibit latent hierarchical structured relationships in their semantic representations. However, most MER approaches rely on Euclidean representations, which capture fine-grained cross-modal interactions but do not explicitly provide a geometric prior for organizing hierarchical emotional structures. To mitigate this gap, we propose GeoMER, a joint Euclidean-Hyperbolic modeling framework that introduces hyperbolic emotion-core routing to capture higher-level, abstract emotional representations for MER. The proposed framework jointly models token-level cross-modal semantic interactions and latent emotion representations in two complementary geometric spaces. Specifically, GeoMER consists of a Euclidean Multimodal Fusion Module (EuclFusion) for multimodal representation fusion and a Hyperbolic Geometric Core Routing (HypGeoRoute) module that performs geometry-aware core assignment and aggregation in a hyperbolic manifold to capture more abstract feature representations. The HypGeoRoute module complements the Euclidean token-level modeling. We experiment on the IEMOCAP multimodal MER benchmark and demonstrate that the proposed method achieves the best performance, with 83.54% weighted accuracy and 83.35% unweighted accuracy, outperforming Euclidean baselines, including MemoCMT.