WDMIR: Wavelet-Driven Multimodal Intent Recognition

📄 arXiv: 2506.10011v1 📥 PDF

作者: Weiyin Gong, Kai Zhang, Yanghai Zhang, Qi Liu, Xinjie Sun, Junyu Lu, Linbo Zhu

分类: cs.MM, cs.AI, cs.CV, eess.SP

发布日期: 2025-05-27

备注: Accepted at IJCAI 2025, 9pages, 6figures

💡 一句话要点

提出WDMIR框架，通过小波分析增强非语言信息，提升多模态意图识别精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态意图识别 小波变换 频域分析 跨模态融合 非语言信息 情感识别

📋 核心要点

  1. 现有方法在多模态意图识别中过度依赖文本信息，忽略了视频和音频中丰富的非语言语义。
  2. WDMIR框架通过小波变换在频域分析非语言信息，并设计跨模态交互机制弥合语义鸿沟。
  3. 实验表明，WDMIR在MIntRec数据集上取得了SOTA结果，准确率提升1.13%，验证了非语言信息的重要性。

📝 摘要（中文）

本文提出了一种新颖的基于小波驱动的多模态意图识别(WDMIR)框架，旨在通过对非语言信息的频域分析来增强意图理解。现有方法通常侧重于文本分析，忽略了非语言线索中蕴含的丰富语义内容。WDMIR框架包含：(1) 一个小波驱动的融合模块，用于在频域中同步分解和整合视频-音频特征，从而实现对时间动态的细粒度分析；(2) 一个跨模态交互机制，促进从双模态到三模态集成的渐进式特征增强，有效弥合语言和非语言信息之间的语义差距。在MIntRec数据集上的大量实验表明，该方法达到了最先进的性能，准确率超过了以往方法1.13%。消融研究进一步验证了小波驱动融合模块能够显著提高从非语言源提取语义信息的能力，在分析细微的情感线索时，识别准确率提高了0.41%。

🔬 方法详解

问题定义：多模态意图识别旨在整合视频、音频和文本信息，准确理解用户意图。现有方法的痛点在于过度依赖文本模态，忽略了非语言模态（视频和音频）中蕴含的丰富语义信息，导致意图理解不完整，尤其是在需要捕捉细微情感变化时表现不足。

核心思路：本文的核心思路是通过频域分析增强非语言信息的利用。具体来说，利用小波变换将视频和音频信号分解到不同频率的子带，从而捕捉不同时间尺度上的动态变化。通过在频域进行特征融合和交互，可以更有效地提取非语言信息中的语义，并弥合其与文本信息之间的语义鸿沟。

技术框架：WDMIR框架主要包含两个核心模块：小波驱动的融合模块和跨模态交互机制。首先，小波驱动的融合模块对视频和音频特征进行同步分解和整合，提取频域特征。然后，跨模态交互机制从双模态（文本-视频，文本-音频）到三模态（文本-视频-音频）逐步进行特征增强，最终实现多模态信息的有效融合。

关键创新：WDMIR的关键创新在于引入了小波变换进行非语言信息的频域分析。与传统时域分析方法相比，频域分析能够更好地捕捉非语言信息中的时间动态和细微变化，从而更有效地提取语义信息。此外，跨模态交互机制通过渐进式特征增强，有效弥合了语言和非语言信息之间的语义差距。

关键设计：小波驱动的融合模块使用离散小波变换（DWT）将视频和音频特征分解为不同频率的子带。选择合适的小波基函数和分解层数是关键参数。跨模态交互机制采用注意力机制来学习不同模态之间的权重，从而实现自适应的特征融合。损失函数方面，除了标准的交叉熵损失外，还可以考虑引入对比学习损失来进一步增强特征的区分性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIntRec数据集上的实验结果表明，WDMIR框架的准确率达到了最先进水平，超过了之前的最佳方法1.13%。消融实验验证了小波驱动融合模块的有效性，在分析细微情感线索时，识别准确率提高了0.41%。这些结果表明，WDMIR能够有效地提取非语言信息中的语义，并提升多模态意图识别的性能。

🎯 应用场景

WDMIR框架可应用于智能客服、人机交互、情感分析、在线教育等领域。通过更准确地理解用户意图，可以提升交互体验，提供更个性化的服务。例如，在智能客服中，WDMIR可以帮助客服系统更好地理解用户的情绪和需求，从而提供更有效的解决方案。在在线教育中，WDMIR可以帮助教师更好地了解学生的学习状态和情感变化，从而进行更有针对性的教学。

📄 摘要（原文）

Multimodal intent recognition (MIR) seeks to accurately interpret user intentions by integrating verbal and non-verbal information across video, audio and text modalities. While existing approaches prioritize text analysis, they often overlook the rich semantic content embedded in non-verbal cues. This paper presents a novel Wavelet-Driven Multimodal Intent Recognition(WDMIR) framework that enhances intent understanding through frequency-domain analysis of non-verbal information. To be more specific, we propose: (1) a wavelet-driven fusion module that performs synchronized decomposition and integration of video-audio features in the frequency domain, enabling fine-grained analysis of temporal dynamics; (2) a cross-modal interaction mechanism that facilitates progressive feature enhancement from bimodal to trimodal integration, effectively bridging the semantic gap between verbal and non-verbal information. Extensive experiments on MIntRec demonstrate that our approach achieves state-of-the-art performance, surpassing previous methods by 1.13% on accuracy. Ablation studies further verify that the wavelet-driven fusion module significantly improves the extraction of semantic information from non-verbal sources, with a 0.41% increase in recognition accuracy when analyzing subtle emotional cues.