Reinforcement Learning of Large Language Models for Interpretable Credit Card Fraud Detection

📄 arXiv: 2601.05578v1 📥 PDF

作者: Cooper Lin, Yanting Zhang, Maohao Ran, Wei Xue, Hongwei Fan, Yibo Xu, Zhenglin Wan, Sirui Han, Yike Guo, Jun Song

分类: cs.AI, cs.CE

发布日期: 2026-01-09

💡 一句话要点

提出基于强化学习的大语言模型信用卡欺诈检测方法，提升可解释性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信用卡欺诈检测 强化学习 大语言模型 自然语言处理 电子商务 风险管理 可解释性

📋 核心要点

  1. 现有欺诈检测方法难以有效利用电子商务交易数据中蕴含的复杂文本信息，且可解释性不足。
  2. 利用强化学习后训练轻量级语言模型，鼓励模型探索交易数据中的信任和风险信号，提升欺诈检测能力。
  3. 实验表明，该方法显著提升了F1分数，证明了强化学习探索机制在发现新型欺诈指标方面的有效性。

📝 摘要（中文）

电子商务平台和支付解决方案提供商面临日益复杂的欺诈手段，包括身份盗窃、账户盗用以及利用数字交易的速度和匿名性进行复杂洗钱活动。尽管大语言模型（LLM）在理论上具有潜力，但其在实际金融环境中的欺诈检测应用仍未被充分利用，并且它们在处理特定领域的电子商务交易数据方面的实际有效性尚未得到经验验证。为了弥合传统机器学习的局限性与LLM在欺诈检测中未开发的潜力之间的差距，本文提出了一种新方法，该方法采用强化学习（RL）来对轻量级语言模型进行后训练，专门用于仅使用原始交易数据的欺诈检测任务。我们利用组序列策略优化（GSPO）算法，结合基于规则的奖励系统，在中国全球支付解决方案公司提供的真实交易数据集上微调各种规模的语言模型。通过这种强化学习框架，鼓励语言模型探索文本交易数据中嵌入的各种信任和风险信号，包括客户信息、运输详细信息、产品描述和订单历史记录中的模式。实验结果表明了该方法的有效性，后训练的语言模型在保留的测试数据上实现了显着的F1分数改进。我们的研究结果表明，观察到的性能改进主要归因于强化学习中固有的探索机制，该机制允许模型发现传统工程特征无法捕获的新型欺诈指标。

🔬 方法详解

问题定义：论文旨在解决电子商务场景下，传统机器学习方法在信用卡欺诈检测中无法有效利用原始交易数据（如客户信息、物流信息、商品描述等）中的文本信息，以及模型可解释性差的问题。现有方法依赖人工特征工程，难以捕捉新型欺诈模式，且模型决策过程不透明。

核心思路：论文的核心思路是利用强化学习（RL）来引导语言模型学习如何从原始交易数据中提取欺诈信号。通过设计合适的奖励函数，鼓励模型探索不同的风险和信任信号，从而发现传统特征工程难以捕捉的欺诈模式。这种方法旨在提升欺诈检测的准确性和可解释性。

技术框架：整体框架包括以下几个主要阶段：1) 数据准备：使用真实的电子商务交易数据，包括客户信息、物流信息、商品描述等文本数据。2) 语言模型初始化：选择轻量级的预训练语言模型作为基础模型。3) 强化学习训练：使用Group Sequence Policy Optimization (GSPO) 算法，结合基于规则的奖励系统，对语言模型进行后训练。奖励函数的设计旨在鼓励模型识别欺诈交易。4) 模型评估：在保留的测试数据集上评估模型的性能，并与基线方法进行比较。

关键创新：该方法最重要的创新点在于将强化学习引入到语言模型的欺诈检测任务中。与传统的监督学习方法不同，强化学习能够引导模型主动探索数据中的欺诈信号，从而发现新的欺诈模式。此外，使用GSPO算法可以有效地处理序列决策问题，并提高模型的探索效率。

关键设计：关键设计包括：1) 奖励函数设计：奖励函数基于规则，旨在奖励模型正确识别欺诈交易，惩罚错误分类。2) GSPO算法：使用GSPO算法进行策略优化，该算法能够有效地处理序列决策问题，并提高模型的探索效率。3) 轻量级语言模型选择：选择轻量级的预训练语言模型，以降低计算成本，并提高模型的部署效率。

📊 实验亮点

实验结果表明，通过强化学习后训练的语言模型在欺诈检测任务上取得了显著的性能提升，F1分数得到了大幅提高。该方法优于传统的基于人工特征工程的机器学习方法，证明了强化学习在探索新型欺诈指标方面的有效性。实验结果还表明，性能提升主要归功于强化学习的探索机制。

🎯 应用场景

该研究成果可应用于电子商务平台、支付解决方案提供商和银行等金融机构，用于提升信用卡欺诈检测的准确性和效率。通过利用原始交易数据中的文本信息，可以更有效地识别新型欺诈模式，降低欺诈风险，保护用户资金安全。未来，该方法还可以扩展到其他金融风险管理领域，如反洗钱和信用风险评估。

📄 摘要（原文）

E-commerce platforms and payment solution providers face increasingly sophisticated fraud schemes, ranging from identity theft and account takeovers to complex money laundering operations that exploit the speed and anonymity of digital transactions. However, despite their theoretical promise, the application of Large Language Models (LLMs) to fraud detection in real-world financial contexts remains largely unexploited, and their practical effectiveness in handling domain-specific e-commerce transaction data has yet to be empirically validated. To bridge this gap between conventional machine learning limitations and the untapped potential of LLMs in fraud detection, this paper proposes a novel approach that employs Reinforcement Learning (RL) to post-train lightweight language models specifically for fraud detection tasks using only raw transaction data. We utilize the Group Sequence Policy Optimization (GSPO) algorithm combined with a rule-based reward system to fine-tune language models of various sizes on a real-life transaction dataset provided by a Chinese global payment solution company. Through this reinforcement learning framework, the language models are encouraged to explore diverse trust and risk signals embedded within the textual transaction data, including patterns in customer information, shipping details, product descriptions, and order history. Our experimental results demonstrate the effectiveness of this approach, with post-trained language models achieving substantial F1-score improvements on held-out test data. Our findings demonstrate that the observed performance improvements are primarily attributable to the exploration mechanism inherent in reinforcement learning, which allows models to discover novel fraud indicators beyond those captured by traditional engineered features.