cantnlp@DravidianLangTech2025: A Bag-of-Sounds Approach to Multimodal Hate Speech Detection

📄 arXiv: 2503.07862v2 📥 PDF

作者: Sidney Wong, Andrew Li

分类: cs.CL

发布日期: 2025-03-10 (更新: 2025-03-17)

备注: Accepted Fifth Workshop on Speech and Language Technologies for Dravidian Languages

💡 一句话要点

提出基于声音包方法的印地语多模态仇恨言论检测系统，探索语音数据在仇恨言论识别中的潜力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨言论检测 多模态学习 语音处理 梅尔频谱 德拉威语系

📋 核心要点

  1. 现有仇恨言论检测方法主要依赖文本信息，忽略了语音中蕴含的情感和语义信息。
  2. 论文提出一种“声音包”方法，利用梅尔频谱特征训练语音仇恨言论检测模型，探索语音模态的潜力。
  3. 实验结果表明，该方法在马拉雅拉姆语和泰米尔语上具有潜力，但需要更多均衡的数据进行训练。

📝 摘要（中文）

本文介绍了在第五届德拉威语言语音、视觉和语言技术研讨会(DravidianLangTech-2025)上，德拉威语言多模态社交媒体数据分析(MSMDA-DL)共享任务的系统和结果。我们采用了一种“声音包”方法，通过使用转换后的梅尔频谱测量在语音（音频）数据上训练我们的仇恨言论检测系统。虽然我们的候选模型在测试集上的表现不佳，但我们的方法在马拉雅拉姆语和泰米尔语的训练和开发过程中提供了有希望的结果。结果表明，如果有足够且均衡的训练数据，则在多模态仇恨言论检测系统的开发中使用文本和语音（音频）数据是可行的。

🔬 方法详解

问题定义：论文旨在解决德拉威语系（如马拉雅拉姆语和泰米尔语）中多模态仇恨言论检测的问题。现有方法主要依赖文本信息，忽略了语音中的情感和语义线索，导致检测效果受限。特别是在社交媒体环境中，语音信息往往是重要的仇恨言论载体。

核心思路：论文的核心思路是利用语音（音频）数据进行仇恨言论检测，并将其与文本信息结合，形成多模态的检测系统。通过提取语音的梅尔频谱特征，并将其视为“声音包”，训练分类模型，从而识别语音中的仇恨言论。这种方法旨在弥补现有方法对语音信息利用不足的缺陷。

技术框架：整体框架包括以下几个主要步骤：1) 数据预处理：对语音数据进行清洗和标准化。2) 特征提取：提取语音的梅尔频谱特征，形成“声音包”。3) 模型训练：使用提取的特征训练仇恨言论检测模型。4) 模型评估：在测试集上评估模型的性能。该框架旨在将语音信息有效地融入到仇恨言论检测任务中。

关键创新：论文的关键创新在于将“声音包”方法应用于语音仇恨言论检测。与传统的语音识别方法不同，该方法不依赖于语音转录文本，而是直接利用语音的频谱特征进行分类。这种方法可以避免语音识别错误对检测结果的影响，并能够捕捉到语音中蕴含的情感和语调信息。

关键设计：论文使用梅尔频谱作为语音特征，并采用机器学习模型（具体模型未知）进行分类。关键设计可能包括梅尔频谱的参数设置（如窗口大小、帧移等）以及模型的选择和训练策略。损失函数和网络结构等细节在论文中未明确说明，属于未知信息。

📊 实验亮点

该研究表明，基于梅尔频谱特征的“声音包”方法在德拉威语系的仇恨言论检测中具有潜力，尽管在测试集上表现不佳，但在马拉雅拉姆语和泰米尔语的训练和开发过程中显示出有希望的结果。这为未来多模态仇恨言论检测系统的开发提供了新的思路。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核，自动识别和过滤德拉威语系中的仇恨言论，维护网络社区的健康环境。此外，该方法还可以扩展到其他语言和场景，例如语音助手、智能客服等，提升语音交互系统的安全性和可靠性。

📄 摘要（原文）

This paper presents the systems and results for the Multimodal Social Media Data Analysis in Dravidian Languages (MSMDA-DL) shared task at the Fifth Workshop on Speech, Vision, and Language Technologies for Dravidian Languages (DravidianLangTech-2025). We took a `bag-of-sounds' approach by training our hate speech detection system on the speech (audio) data using transformed Mel spectrogram measures. While our candidate model performed poorly on the test set, our approach offered promising results during training and development for Malayalam and Tamil. With sufficient and well-balanced training data, our results show that it is feasible to use both text and speech (audio) data in the development of multimodal hate speech detection systems.