Uncovering the Vulnerability of Large Language Models in the Financial Domain via Risk Concealment

📄 arXiv: 2509.10546v1 📥 PDF

作者: Gang Cheng, Haibo Jin, Wenbin Zhang, Haohan Wang, Jun Zhuang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-07

备注: Preprint, under review. TL;DR: We propose a multi-turn red-teaming framework, RCA, that reveals critical regulatory vulnerabilities in financial LLMs, achieving over 93% attack success on a proposed new benchmark, FIN-Bench

💡 一句话要点

提出风险隐藏攻击RCA，揭示金融领域大语言模型在监管风险上的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 金融领域 红队测试 风险隐藏攻击 监管合规 安全评估 FIN-Bench

📋 核心要点

  1. 现有红队测试主要关注有害内容，忽略了金融领域大语言模型在监管风险上的潜在漏洞。
  2. 提出风险隐藏攻击（RCA），通过迭代隐藏监管风险，诱导模型产生违规响应，从而评估模型安全性。
  3. 构建金融领域基准FIN-Bench，实验表明RCA能有效绕过主流LLMs，平均攻击成功率高达93.18%。

📝 摘要（中文）

大型语言模型（LLMs）正日益融入金融应用，但现有的红队测试研究主要针对有害内容，很大程度上忽略了监管风险。本文旨在通过红队测试方法，研究金融LLMs的脆弱性。我们引入了风险隐藏攻击（RCA），这是一种新颖的多轮框架，它迭代地隐藏监管风险，以引诱LLMs产生看似合规但违反监管规定的响应。为了实现系统评估，我们构建了FIN-Bench，这是一个特定领域的基准，用于评估LLM在金融环境中的安全性。在FIN-Bench上的大量实验表明，RCA有效地绕过了九个主流LLMs，实现了平均93.18%的攻击成功率（ASR），包括GPT-4.1上的98.28%和OpenAI o1上的97.56%。这些发现揭示了当前对齐技术中的一个关键差距，并强调了在金融领域加强审核机制的迫切需要。我们希望这项工作能为推进稳健且领域感知的LLM对齐提供实践见解。

🔬 方法详解

问题定义：当前金融领域的大语言模型（LLMs）应用面临监管风险，但现有红队测试方法主要关注有害内容，缺乏对LLMs在金融监管合规性方面的系统性评估。因此，如何有效评估和揭示金融LLMs在监管风险方面的脆弱性成为一个关键问题。现有方法难以有效诱导LLMs产生违反监管规定的响应。

核心思路：论文的核心思路是通过迭代地隐藏监管风险，逐步引导LLMs产生看似合规但实际上违反金融监管规定的响应。这种“温水煮青蛙”的方式能够有效绕过LLMs的防御机制，揭示其在监管风险方面的脆弱性。通过多轮对话，逐步降低风险提示的强度，使LLMs在不知不觉中给出违规建议。

技术框架：论文提出了风险隐藏攻击（RCA）框架，该框架包含以下主要阶段：1) 初始提示：提供一个看似无害的金融问题作为起点。2) 风险隐藏：通过修改问题，逐步降低其中包含的监管风险提示。3) 响应生成：LLM根据修改后的问题生成响应。4) 合规性评估：评估LLM的响应是否违反金融监管规定。这个过程迭代进行，直到LLM产生违规响应或达到最大迭代次数。

关键创新：RCA的关键创新在于其多轮迭代的风险隐藏策略。与传统的单轮攻击相比，RCA能够更有效地绕过LLMs的防御机制，揭示其在监管风险方面的潜在漏洞。通过逐步降低风险提示的强度，RCA能够诱导LLMs在不知不觉中给出违规建议，从而更真实地反映LLMs在实际应用中的风险。

关键设计：RCA的关键设计包括：1) 风险隐藏策略：如何有效地降低问题中包含的监管风险提示，例如通过使用更隐晦的语言或改变问题的焦点。2) 合规性评估标准：如何准确地评估LLM的响应是否违反金融监管规定，例如通过使用专家知识或自动化工具。3) 迭代次数：设置合适的迭代次数，以平衡攻击成功率和攻击成本。论文中FIN-Bench数据集的设计也至关重要，它提供了系统评估LLM在金融领域安全性的基础。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的风险隐藏攻击（RCA）能够有效绕过九个主流LLMs，平均攻击成功率高达93.18%，其中在GPT-4.1和OpenAI o1上的攻击成功率分别达到98.28%和97.56%。这些结果表明，即使是最先进的LLMs在金融监管风险方面仍然存在显著的脆弱性。

🎯 应用场景

该研究成果可应用于金融机构对大语言模型进行安全评估，帮助发现模型在金融监管合规性方面的潜在风险。同时，该研究也能促进更稳健、更具领域感知的大语言模型对齐技术的发展，降低金融领域AI应用的安全风险，为金融监管提供技术支持。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly integrated into financial applications, yet existing red-teaming research primarily targets harmful content, largely neglecting regulatory risks. In this work, we aim to investigate the vulnerability of financial LLMs through red-teaming approaches. We introduce Risk-Concealment Attacks (RCA), a novel multi-turn framework that iteratively conceals regulatory risks to provoke seemingly compliant yet regulatory-violating responses from LLMs. To enable systematic evaluation, we construct FIN-Bench, a domain-specific benchmark for assessing LLM safety in financial contexts. Extensive experiments on FIN-Bench demonstrate that RCA effectively bypasses nine mainstream LLMs, achieving an average attack success rate (ASR) of 93.18%, including 98.28% on GPT-4.1 and 97.56% on OpenAI o1. These findings reveal a critical gap in current alignment techniques and underscore the urgent need for stronger moderation mechanisms in financial domains. We hope this work offers practical insights for advancing robust and domain-aware LLM alignment.