Keyword-Oriented Multimodal Modeling for Euphemism Identification

📄 arXiv: 2503.21504v1 📥 PDF

作者: Yuxue Hu, Junsong Li, Meixuan Chen, Dongyu Su, Tongguan Wang, Ying Sha

分类: cs.CL, cs.AI, cs.CV

发布日期: 2025-03-27

💡 一句话要点

提出关键词导向的多模态隐晦表达识别方法，解决社交媒体内容审核难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐晦表达识别 多模态学习 跨模态对齐 动态融合 关键词导向 内容审核 社交媒体

📋 核心要点

  1. 现有隐晦表达识别方法主要依赖文本信息，忽略了社交媒体中图像和音频等多模态信息。
  2. 论文提出关键词导向的多模态隐晦表达识别方法，通过跨模态特征对齐和动态融合，有效利用视觉和听觉信息。
  3. 实验表明，该方法在隐晦表达识别任务上优于现有方法和大型语言模型，验证了多模态数据集的有效性。

📝 摘要（中文）

隐晦表达识别旨在揭示委婉语的真实含义，例如将“weed”（委婉语）与“marijuana”（目标关键词）关联，从而辅助内容审核和打击地下市场。现有方法主要基于文本，但社交媒体的兴起凸显了多模态分析的需求，包括文本、图像和音频。然而，缺乏多模态隐晦表达数据集限制了进一步研究。为此，我们将隐晦表达及其对应的目标关键词视为关键词，并首次引入了一个关键词导向的多模态隐晦表达语料库（KOM-Euph），包含三个数据集（Drug、Weapon和Sexuality），包括文本、图像和语音。我们进一步提出了一种关键词导向的多模态隐晦表达识别方法（KOM-EI），该方法使用跨模态特征对齐和动态融合模块，显式地利用关键词的视觉和音频特征，以实现高效的隐晦表达识别。大量实验表明，KOM-EI优于最先进的模型和大型语言模型，并展示了我们多模态数据集的重要性。

🔬 方法详解

问题定义：论文旨在解决社交媒体内容审核中，仅依赖文本的隐晦表达识别方法无法有效利用图像、音频等多模态信息的问题。现有方法忽略了关键词在不同模态下的关联性，导致识别准确率不高。

核心思路：论文的核心思路是将隐晦表达及其对应的目标关键词视为关键词，并利用这些关键词在不同模态下的特征进行跨模态对齐和融合。通过显式地利用视觉和音频特征，提高隐晦表达识别的准确性和鲁棒性。

技术框架：KOM-EI方法包含以下主要模块：1) 多模态特征提取模块，用于提取文本、图像和音频的特征；2) 跨模态特征对齐模块，用于将不同模态的特征对齐到同一语义空间；3) 动态融合模块，用于根据不同模态的贡献动态地融合特征；4) 隐晦表达识别模块，用于根据融合后的特征进行隐晦表达识别。

关键创新：论文的关键创新在于提出了关键词导向的多模态隐晦表达识别方法，并构建了相应的多模态数据集。与现有方法相比，该方法能够显式地利用关键词的视觉和音频特征，从而提高识别准确率。此外，动态融合模块能够根据不同模态的贡献自适应地调整权重，进一步提升性能。

关键设计：在跨模态特征对齐模块中，论文可能采用了对比学习或注意力机制等方法，将不同模态的特征映射到同一语义空间。动态融合模块可能使用了门控机制或注意力机制，根据不同模态的贡献动态地调整权重。损失函数可能包括交叉熵损失和对比损失等，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KOM-EI方法在三个数据集（Drug、Weapon和Sexuality）上均优于现有最先进的模型和大型语言模型。具体性能数据未知，但摘要强调了KOM-EI显著优于基线模型，并证明了多模态数据集的重要性。这表明该方法能够有效利用多模态信息，提高隐晦表达识别的准确率。

🎯 应用场景

该研究成果可应用于社交媒体内容审核、网络安全、舆情分析等领域。通过识别隐晦表达，可以有效过滤不良信息，维护网络环境的健康。此外，该方法还可以用于打击非法交易和地下市场，提高社会安全性。未来，该研究可以扩展到更多语言和模态，并应用于更广泛的场景。

📄 摘要（原文）

Euphemism identification deciphers the true meaning of euphemisms, such as linking "weed" (euphemism) to "marijuana" (target keyword) in illicit texts, aiding content moderation and combating underground markets. While existing methods are primarily text-based, the rise of social media highlights the need for multimodal analysis, incorporating text, images, and audio. However, the lack of multimodal datasets for euphemisms limits further research. To address this, we regard euphemisms and their corresponding target keywords as keywords and first introduce a keyword-oriented multimodal corpus of euphemisms (KOM-Euph), involving three datasets (Drug, Weapon, and Sexuality), including text, images, and speech. We further propose a keyword-oriented multimodal euphemism identification method (KOM-EI), which uses cross-modal feature alignment and dynamic fusion modules to explicitly utilize the visual and audio features of the keywords for efficient euphemism identification. Extensive experiments demonstrate that KOM-EI outperforms state-of-the-art models and large language models, and show the importance of our multimodal datasets.