Enhancing Lie Detection Accuracy: A Comparative Study of Classic ML, CNN, and GCN Models using Audio-Visual Features

📄 arXiv: 2411.08885v1 📥 PDF

作者: Abdelrahman Abdelwahab, Akshaj Vishnubhatla, Ayaan Vaswani, Advait Bharathulwar, Arnav Kommaraju

分类: cs.MM, cs.AI, cs.CV, cs.SD, eess.AS

发布日期: 2024-10-26

备注: 11 pages, 18 figures

💡 一句话要点

利用听觉-视觉特征，对比经典ML、CNN和GCN模型，提升谎言检测准确率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 谎言检测 多模态融合 听觉特征 视觉特征 面部微表情 深度学习 CNN

📋 核心要点

  1. 现有测谎方法依赖多导测试仪，准确性不足且易受主观因素影响，导致误判。
  2. 提出一种多模态Transformer架构，融合听觉、视觉微表情和手势信息，提升测谎的可靠性。
  3. 实验结果表明，基于CNN Conv1D的多模态模型达到了95.4%的平均准确率，验证了方法的有效性。

📝 摘要（中文）

多导测试仪的不准确性常导致错误的定罪、虚假信息和偏见，这对法律和政治体系都具有重大影响。近年来，分析面部微表情已成为一种检测欺骗的方法；然而，目前的模型尚未达到较高的准确性和泛化性。本研究旨在帮助解决这些问题。本研究中使用的独特多模态Transformer架构通过使用听觉输入、视觉面部微表情和手动转录的手势注释，改进了先前的方法，从而更接近于可靠的非侵入式谎言检测模型。分别使用Vision Transformer和OpenSmile模型提取视觉和听觉特征，然后将其与参与者微表情和手势的转录本连接起来。使用这些经过处理和连接的特征训练各种模型，用于谎言和真相的分类。CNN Conv1D多模态模型实现了95.4%的平均准确率。然而，仍需要进一步的研究来创建更高质量的数据集和更通用的模型，以用于更多样化的应用。

🔬 方法详解

问题定义：论文旨在解决现有谎言检测方法准确率和泛化性不足的问题。传统的多导测试仪容易受到主观因素的影响，且准确率不高。现有的基于面部微表情的检测方法虽然有所改进，但仍然存在准确率和泛化性瓶颈。

核心思路：论文的核心思路是利用多模态信息融合，即结合听觉特征、视觉面部微表情和手势信息，来提高谎言检测的准确率。通过整合多种模态的信息，可以更全面地捕捉受试者的欺骗行为，从而提高检测的可靠性。

技术框架：整体框架包括以下几个主要阶段：1) 特征提取：使用Vision Transformer提取视觉特征，使用OpenSmile提取听觉特征。2) 数据融合：将提取的视觉和听觉特征与手动转录的微表情和手势信息进行连接。3) 模型训练：使用连接后的特征训练各种机器学习模型，包括经典机器学习模型、CNN和GCN。4) 分类：使用训练好的模型对谎言和真相进行分类。

关键创新：论文的关键创新在于多模态Transformer架构的应用，它能够有效地融合来自不同模态的信息。此外，手动转录的手势注释的引入也是一个创新点，它可以提供更丰富的行为信息，从而提高检测的准确率。与现有方法相比，该方法更全面地考虑了受试者的行为特征。

关键设计：视觉特征提取使用Vision Transformer，听觉特征提取使用OpenSmile。连接后的特征被输入到各种模型中进行训练，包括CNN Conv1D模型。实验中，研究者探索了不同的模型结构和参数设置，最终选择了性能最佳的CNN Conv1D模型。具体的损失函数和优化器选择未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于CNN Conv1D的多模态模型在谎言检测任务中取得了95.4%的平均准确率。这一结果显著优于传统的多导测试仪和仅依赖单一模态信息的检测方法。该研究验证了多模态信息融合在谎言检测中的有效性，并为未来的研究提供了新的思路。

🎯 应用场景

该研究成果可应用于法律、政治、安全等多个领域。例如，在刑事侦查中，可以辅助判断嫌疑人是否说谎；在边境安全检查中，可以用于识别潜在的恐怖分子或走私犯。此外，该技术还可用于招聘面试、商业谈判等场景，帮助人们更好地识别欺骗行为，做出更明智的决策。未来，随着数据集质量的提高和模型泛化能力的增强，其应用前景将更加广阔。

📄 摘要（原文）

Inaccuracies in polygraph tests often lead to wrongful convictions, false information, and bias, all of which have significant consequences for both legal and political systems. Recently, analyzing facial micro-expressions has emerged as a method for detecting deception; however, current models have not reached high accuracy and generalizability. The purpose of this study is to aid in remedying these problems. The unique multimodal transformer architecture used in this study improves upon previous approaches by using auditory inputs, visual facial micro-expressions, and manually transcribed gesture annotations, moving closer to a reliable non-invasive lie detection model. Visual and auditory features were extracted using the Vision Transformer and OpenSmile models respectively, which were then concatenated with the transcriptions of participants micro-expressions and gestures. Various models were trained for the classification of lies and truths using these processed and concatenated features. The CNN Conv1D multimodal model achieved an average accuracy of 95.4%. However, further research is still required to create higher-quality datasets and even more generalized models for more diverse applications.