DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning

📄 arXiv: 2603.23916v1 📥 PDF

作者: Jiajian Huang, Dongliang Zhu, Zitong YU, Hui Ma, Jiayu Zhang, Chunmei Zhu, Xiaochun Cao

分类: cs.CV, cs.AI

发布日期: 2026-03-25

备注: 13 pages, 8 figures, 7 tables

💡 一句话要点

DecepGPT：提出模式驱动的多文化多模态欺骗检测方法，提升鲁棒性与可解释性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态欺骗检测 可解释性AI 跨文化学习 知识蒸馏 鲁棒学习

📋 核心要点

  1. 现有欺骗检测方法依赖二元标签，缺乏中间推理过程，数据集规模小且场景单一，易导致模型学习到虚假相关性。
  2. 论文提出模式驱动的欺骗检测框架DecepGPT，通过构建推理数据集和引入鲁棒多模态学习模块，提升模型的可解释性和泛化能力。
  3. 实验结果表明，DecepGPT在多个基准数据集和自建多文化数据集上均取得了SOTA性能，并展现出优异的跨文化迁移能力。

📝 摘要（中文）

多模态欺骗检测旨在通过分析视听线索来识别欺骗行为，应用于取证和安全领域。在这些高风险场景中，调查人员需要可验证的证据将视听线索与最终决策联系起来，以及跨领域和文化背景的可靠泛化能力。然而，现有的基准测试仅提供二元标签，缺乏中间推理线索。数据集也很小，场景覆盖范围有限，导致模型容易学习到捷径。为了解决这些问题，我们做出了三项贡献。首先，我们通过使用结构化的线索级描述和推理链来增强现有基准，构建推理数据集，从而使模型输出可审计的报告。其次，我们发布了T4-Deception，这是一个基于统一的“To Tell The Truth”电视形式的多文化数据集，涵盖四个国家。拥有1695个样本，它是最大的非实验室欺骗检测数据集。第三，我们提出了两个模块，用于在小数据条件下进行鲁棒学习。稳定个体-共性协同（SICS）通过将可学习的全局先验与样本自适应残差协同作用来细化多模态表示，然后进行极性感知调整，以双向重新校准表示。蒸馏模态一致性（DMC）通过知识蒸馏将模态特定预测与融合的多模态预测对齐，以防止单模态捷径学习。在三个已建立的基准测试和我们新颖的数据集上的实验表明，我们的方法在领域内和跨领域场景中都实现了最先进的性能，同时在不同的文化背景下表现出卓越的可迁移性。数据集和代码将被发布。

🔬 方法详解

问题定义：现有的多模态欺骗检测方法主要存在以下痛点：一是缺乏中间推理过程，模型决策缺乏可解释性；二是数据集规模较小，场景覆盖不足，模型容易过拟合，学习到虚假的视听线索与欺骗行为之间的关联；三是模型在跨文化场景下的泛化能力较差，难以适应不同文化背景下的欺骗行为。

核心思路：论文的核心思路是通过引入模式驱动的推理过程，增强模型的可解释性；通过构建更大规模、更具多样性的多文化数据集，提升模型的泛化能力；通过设计鲁棒的多模态学习模块，防止模型学习到虚假的视听线索与欺骗行为之间的关联。具体来说，论文通过构建包含线索级描述和推理链的数据集，使模型能够输出可审计的报告。同时，论文提出了稳定个体-共性协同（SICS）和蒸馏模态一致性（DMC）两个模块，用于提升模型的鲁棒性。

技术框架：DecepGPT的整体框架主要包含以下几个模块：1）多模态特征提取模块，用于从视听数据中提取特征；2）模式驱动的推理模块，用于根据提取的特征和预定义的模式进行推理，生成中间推理结果；3）稳定个体-共性协同（SICS）模块，用于细化多模态表示，提升模型的鲁棒性；4）蒸馏模态一致性（DMC）模块，用于防止单模态捷径学习；5）欺骗检测模块，用于根据推理结果和多模态表示，判断是否存在欺骗行为。

关键创新：论文的主要创新点包括：1）构建了包含线索级描述和推理链的推理数据集，增强了模型的可解释性；2）提出了稳定个体-共性协同（SICS）模块，通过将可学习的全局先验与样本自适应残差协同作用来细化多模态表示，提升了模型的鲁棒性；3）提出了蒸馏模态一致性（DMC）模块，通过知识蒸馏将模态特定预测与融合的多模态预测对齐，防止了单模态捷径学习。与现有方法相比，DecepGPT能够输出可审计的报告，具有更强的可解释性和鲁棒性。

关键设计：SICS模块的关键设计在于将可学习的全局先验与样本自适应残差相结合，从而在保留个体特征的同时，利用全局信息进行约束。DMC模块的关键设计在于使用知识蒸馏，将多模态融合的预测作为教师信号，指导单模态预测的学习，从而防止模型过度依赖单一模态的信息。损失函数方面，论文使用了交叉熵损失函数来训练欺骗检测模块，并使用了KL散度损失函数来训练DMC模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DecepGPT在三个已建立的基准测试数据集上取得了SOTA性能，并且在自建的多文化数据集T4-Deception上表现出优异的跨文化迁移能力。具体来说，DecepGPT在跨文化欺骗检测任务上的准确率比现有方法提高了5%以上，证明了其在不同文化背景下的泛化能力。

🎯 应用场景

该研究成果可应用于取证分析、安全监控、在线教育等领域。例如，在取证分析中，可以帮助调查人员识别犯罪嫌疑人的欺骗行为，提高破案效率。在安全监控中，可以用于检测潜在的安全威胁，例如身份盗用、金融诈骗等。在在线教育中，可以用于评估学生的学习情况，识别作弊行为，提高教学质量。未来，该研究可以进一步扩展到其他模态数据，例如文本、图像等，构建更加全面的欺骗检测系统。

📄 摘要（原文）

Multimodal deception detection aims to identify deceptive behavior by analyzing audiovisual cues for forensics and security. In these high-stakes settings, investigators need verifiable evidence connecting audiovisual cues to final decisions, along with reliable generalization across domains and cultural contexts. However, existing benchmarks provide only binary labels without intermediate reasoning cues. Datasets are also small with limited scenario coverage, leading to shortcut learning. We address these issues through three contributions. First, we construct reasoning datasets by augmenting existing benchmarks with structured cue-level descriptions and reasoning chains, enabling model output auditable reports. Second, we release T4-Deception, a multicultural dataset based on the unified ``To Tell The Truth'' television format implemented across four countries. With 1695 samples, it is the largest non-laboratory deception detection dataset. Third, we propose two modules for robust learning under small-data conditions. Stabilized Individuality-Commonality Synergy (SICS) refines multimodal representations by synergizing learnable global priors with sample-adaptive residuals, followed by a polarity-aware adjustment that bi-directionally recalibrates representations. Distilled Modality Consistency (DMC) aligns modality-specific predictions with the fused multimodal predictions via knowledge distillation to prevent unimodal shortcut learning. Experiments on three established benchmarks and our novel dataset demonstrate that our method achieves state-of-the-art performance in both in-domain and cross-domain scenarios, while exhibiting superior transferability across diverse cultural contexts. The datasets and codes will be released.