Representation learning with a transformer by contrastive learning for money laundering detection
作者: Harold Guéneau, Alain Celisse, Pascal Delange
分类: cs.LG, cs.AI, math.ST, q-fin.RM, q-fin.ST
发布日期: 2025-07-07
💡 一句话要点
提出基于Transformer和对比学习的表示学习方法，用于解决反洗钱检测问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 反洗钱检测 Transformer 对比学习 时间序列 表示学习
📋 核心要点
- 现有反洗钱检测方法依赖人工规则或LSTM，泛化能力弱，难以适应不断变化的洗钱模式。
- 利用Transformer学习时间序列的表示，并通过对比学习增强模型对洗钱模式的识别能力。
- 实验表明，该方法在检测欺诈者和非欺诈者方面均优于传统方法，并有效控制了假阳性率。
📝 摘要（中文）
本研究致力于解决反洗钱检测问题。提出了一种新的流程，该流程利用Transformer神经网络处理结构化的定性和定量时间序列数据。首先，通过对比学习（无需标签）学习时间序列的表示。然后，利用这些表示生成所有观察对象的洗钱评分。此外，引入了一种双阈值方法，通过Benjamini-Hochberg (BH)程序来控制假阳性率。实验表明，Transformer能够生成通用的表示，成功地利用洗钱模式，且只需要领域专家的少量监督。同时，该方法在检测非欺诈者和欺诈者方面表现出更高的能力，并能有效控制假阳性率，这与基于规则的程序或基于LSTM的架构形成鲜明对比。
🔬 方法详解
问题定义：该论文旨在解决反洗钱检测问题。现有方法，如基于规则的方法或基于LSTM的方法，通常泛化能力较差，难以适应不断演变的洗钱手段，并且需要大量人工干预和特征工程。这些方法在控制假阳性率方面也存在挑战。
核心思路：论文的核心思路是利用Transformer模型强大的序列建模能力，结合对比学习，学习时间序列数据的有效表示。通过对比学习，模型能够学习到区分正常交易和洗钱交易的关键特征，从而提高检测的准确性和泛化能力。这种方法旨在减少对人工特征工程的依赖，并降低假阳性率。
技术框架：该方法包含两个主要步骤。第一步是表示学习阶段，使用Transformer模型和对比学习目标函数，从未标记的时间序列数据中学习交易数据的表示。第二步是洗钱评分阶段，利用学习到的表示，为每个交易生成一个洗钱评分。最后，使用一个双阈值方法，结合Benjamini-Hochberg (BH)程序，来控制假阳性率。
关键创新：该论文的关键创新在于将Transformer模型和对比学习结合，用于反洗钱检测。与传统的基于规则或LSTM的方法相比，该方法能够自动学习数据的表示，减少了对人工特征工程的依赖，并提高了模型的泛化能力。此外，使用双阈值方法和BH程序来控制假阳性率，保证了检测结果的可靠性。
关键设计：Transformer模型的具体结构（例如，层数、注意力头数、隐藏层维度）需要根据数据集的大小和复杂度进行调整。对比学习的损失函数通常采用InfoNCE损失，需要选择合适的温度参数。双阈值方法的阈值需要根据期望的假阳性率进行调整，BH程序用于控制错误发现率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在反洗钱检测任务中表现出色，能够有效识别欺诈者和非欺诈者，同时保持较低的假阳性率。与基于规则的方法和基于LSTM的方法相比，该方法在准确性和泛化能力方面均有显著提升。具体的性能数据（例如，准确率、召回率、F1值）和提升幅度需要在论文中查找。
🎯 应用场景
该研究成果可应用于金融机构的反洗钱系统，帮助银行和金融机构更有效地识别和预防洗钱活动。通过降低假阳性率，可以减少不必要的调查，提高运营效率。此外，该方法还可以扩展到其他欺诈检测领域，例如信用卡欺诈、保险欺诈等。
📄 摘要（原文）
The present work tackles the money laundering detection problem. A new procedure is introduced which exploits structured time series of both qualitative and quantitative data by means of a transformer neural network. The first step of this procedure aims at learning representations of time series through contrastive learning (without any labels). The second step leverages these representations to generate a money laundering scoring of all observations. A two-thresholds approach is then introduced, which ensures a controlled false-positive rate by means of the Benjamini-Hochberg (BH) procedure. Experiments confirm that the transformer is able to produce general representations that succeed in exploiting money laundering patterns with minimal supervision from domain experts. It also illustrates the higher ability of the new procedure for detecting nonfraudsters as well as fraudsters, while keeping the false positive rate under control. This greatly contrasts with rule-based procedures or the ones based on LSTM architectures.